华人移居台湾最早的，据日本所传，有秦始皇二十八年徐福率童男女移住夷州和亶州的事情。夷州是台湾，亶州是小吕宋。自秦以后，汉的东鳀，隋的琉球、掖玖，唐的流鬼、澎湖，元的琉求、澎湖、波罗公，都是指台湾而言，但历代移民的有无，则不得而知。唐元和间，施肩吾有咏澎湖的诗，为澎湖见于文艺的第一次。有人说施肩吾率领家人移住澎湖，确与不确，也无从证明。宋元以来，闽粤人渡海移居台湾的渐多。明初因为防御海盗和倭寇，曾令本岛居民悉移漳泉二州，但居留人数并未见得减少。当嘉靖四十二年，俞大猷追海盗入台湾以前，七鲲身、鹿耳门沿岸的华民已经聚成村落。这些从中国到台湾的移民，大概可以分为五种：一是海盗，二是渔户，三是贾客，四是规避重敛的平民，五是海盗或倭寇的俘虏。嘉靖中从广东揭阳移到赤嵌（台南）居住的许超便是窥园先生的入台一世祖。这家的职业，因为旧家谱于清道光年间毁掉，新谱并未载明，故不得而知。从家庭的传说，知道一世祖是蒙塾的师傅。若依上头移民的种类看来，他或者是属于第四或第五种人。
自荷兰人占据以后，名台湾为丽都岛（花摩娑），称赤嵌为毗舍那（或作毗舍耶），建城筑堡，辟港刊林，政治规模略具，人民生活渐饶。许氏一家，自移殖以来到清嘉庆年间，宗族还未分居，并且各有职业。窥园先生的祖父永喜公是个秀才，因为兄弟们都从事生产，自己便教育几个学生，过他的书生生活。他前后三娶，生子八人。子侄们，除廷乐公业农、特斋公（讳延璋）业儒以外，其余都是商人。道光中叶，许家兄弟共同经营了四间商店，是金珠、布匹、鞋帽和鸦片烟馆。不幸一夜的大火把那几间店子烧得精光，连家谱地契都毁掉。家产荡尽，兄弟们才闹分居。特斋公因此分得西定坊武馆街火烬余的鞋店为业。咸丰五年十月初五日，特斋公在那破屋里得窥园先生。因为那间房子既不宜居住，更不宜做学塾的用处，在先生六岁时候，特斋公便将武馆街旧居卖掉，另置南门里延平郡王祠边马公庙住宅，建学舍数楹。舍后空地数亩，任草木自然滋长，名为窥园，取董子下帷讲诵，三年不窥园的意思。特斋公自在宅中开馆授徒，不久便谢世，遗下窥园给他的四个儿子。
窥园先生讳南英，号蕴白或允白。窥园主人、留发头陀、龙马书生、毗舍耶客、春江冷宦，都是他的自号。自特斋公殁后，家计专仗少数田产，蓝太恭人善于调度，十数年来，诸子的学费都由她一人支持。先生排行第三，十九岁时，伯兄梓修公为台湾府吏，仲兄炳耀公在大穆降办盐务，以所入助家用。因为兄弟们都已成人，家用日绌，先生也想跟他二兄学卖盐去。谢宪章先生力劝他勉强继续求学，于是先生又跟谢先生受业。先生所往来的都是当时教大馆的塾师，学问因此大进。吴樵山先生也是在这几年间认识的。当时在台湾城教学的前辈对于先生的品格学问都很推许。二十四岁，先生被聘去教家塾，不久，自己又在窥园里设一个学塾，名为闻樨学舍。当时最常往来的亲友是吴樵山（子云）、陈卜五、王泳翔、施云舫（士洁）、丘仙根（逢甲）、汪杏泉（春源）、陈省三（望曾）、陈梧冈（日翔）诸先生。他的诗人生活也是从这个时候起。
自二十四到三十五岁，先生都以教学为业。光绪丙戌初到北京会试，因对策陈述国家危机所在，文章过于伤感，考官不敢录取。己丑再赴试，又因评论政治得失被放。隔年，中恩科会魁，授兵部车驾清吏司主事职。先生的志向本不在做官，只望成了名，可以在本乡服役。他对于台湾的风物知道很多，绅民对他也很有信仰，所以在十二月间他便回籍服役。
先生二十三岁时，遵吴樵山先生的遗嘱，聘他的第三女（讳慎），越三年，完婚。夫妇感情，直到命终，极其融洽。在三十三岁左右，偶然认识台南一个歌伎吴湘玉，由怜生爱，屡想为她脱籍。两年后，经过许多困难，至终商定纳她为妾，湘玉喜过度，不久便得病。她的母亲要等她痊愈才肯嫁她。在抑郁着急的心境中，使她病加剧，因而夭折。她死后，先生将遗骸葬在荔支宅。湘玉的母亲感激他的情谊，便将死者的婢女吴逊送给他。他并不爱恋那女子，只为湘玉的缘故收留她。本集里的情词多半是怀念湘玉的作品。
台湾于光绪十一年改设行省，以原台湾府为台南府，台湾县为安平县。自设省后，所有新政渐逐推行。先生对于新设施都潜心研究。每以为机器、矿务或其他实业都应自己学会了自己办，异族绝靠不住。自庚寅从北京回籍，台南官绅举他管理圣庙乐局事务。安平陈县令聘他做蓬壶书院山长，辞未就，因为他愿意帮助政府办理垦土化番的事业。他每深入番社，山里的番汉人多认识他。甲午年春，唐巡抚聘他当台湾通志局协修，凡台南府属的沿革风物都由他汇纂。中日开战，省府改台南采访局为团练局，以先生充统领领两营兵。
黄海之败，中枢当局以为自改设台湾行省以来，五六年间，所有新政都要经费，不但未见利益，甚且要赔垫许多币金，加以台湾民众向有反清复明的倾向，不易统治，这或者也是决意割让的一个原因。那时人心惶惶，希望政府不放弃台湾，而一些土棍便想乘着官吏与地权交代的机会从中取利。有些唱“跟父也是吃饭，跟母也是吃饭”的论调，意思是归华归日都可以。因此，民主国的建设虽然酝酿着，而人心并未一致。住近番地的汉人与番人又乘机混合起来扰乱，台南附近有刘乌河的叛变。一重溪、菜寮、拔马、锡猴、木冈、南庄、半平桥、八张犁，诸社都不安静。先生领兵把匪徒荡平以后，分兵屯防诸社。
乙未三月，中日和约签定。依约第二条，台湾及澎湖群岛都割归日本，台湾绅民反对无效，因是积极筹建民主国，举唐巡抚为大伯理玺天德（注：当时对“大总统”的译法），以元武旗（蓝地黄虎）为国旗。军民诸政先由刘永福、丘逢甲诸人担任，等议院开后再定国策。那时，先生任筹防局统领，仍然屯兵番社附近诸隘。日本既与我国交换约书于芝罘，遂任桦山资纪为台湾总督，会见我全权李经方于基隆港外，接收全岛及澎湖群岛。七月，基隆失守，唐大伯理玺天德乘德轮船逃厦门，日人遂入台北。当基隆告急时，先生率台南防兵北行，到阿里关，听见台北已失，乃赶回台南。刘永福自己到安平港去布防，令先生守城。
先生所领的兵本来不多，攻守都难操胜算，当时人心张皇，意见不一，故城终未关，任人逃避。先生也有意等城内人民避到乡间以后，再请兵固守。八月，嘉义失守，刘永福不愿死战，致书日军求和，且令台南解严，先生只得听命。和议未成，打狗、凤山相继陷，刘永福遂挟兵饷官帑数十万乘德船逃回大陆。旧历九月初二日，安平炮台被占，大局已去，丘逢甲也弃职，民主国在实际上已经消灭，城中绅商都不以死守为然，力劝先生解甲。因为兵饷被刘提走，先生便将私蓄现金尽数散给部下。几个弁目把他送出城外。九月初三日，日人入台南。本集里，辛丑所作《无题》便是记当日刘帅逃走和他不能守城的愤恨。又，乙未《寄台南诸友》也是表明他的心迹的作品。
民主国最后根据地台南被占领后，日人悬像编索先生。乡人不得已，乃于九月初五日送先生到安平港，渔人用竹筏载他上轮船。窥园词中《忆旧》是叙这次的事。日人登船搜索了一遍，也没把他认出来。先生到厦门少住，便转向汕头，投宗人子荣子明二位先生的乡里，距浦不远的桃都。子荣先生劝先生归宗，可惜旧家谱不存，入台一世祖与揭阳宗祠的关系都不得而知，这事只得罢论。子荣昆季又劝先生到南洋去换换生活。先生的旅费都是他们赠与。他们又把先生全家从台湾接到桃都，安置在宗祠边的别庄里。从此以后，先生的子孙便住在大陆，其余都留在台湾。
先生在新加坡、曼谷诸地漫游，足够两年。囊金荡尽，迫着他上了宦途。但回到兵部当差既不可能，于是“自贬南交为末史”去了。先生到北京投供吏部，自请开去兵部职务，降换广东即用知县，加同知衔。他愿意到广东，一因是祖籍，二因朋友多。又因漳州与潮州比邻，语言风俗多半相同，于是寄籍为龙溪县人。从北京南下，到桃都把家眷带到广州，住药王庙兴隆坊。丁酉戊戌两年中帮广州周知府与番禺裴县令评阅府县试卷。己亥，委随潮州镇总兵黄金福行营到惠潮嘉一带办理清乡事务。庚子，广州陈知府委总校广州府试卷。不久，又委充佛山汾水税关总办。辛丑，由税关调省，充乡试阅卷官。试毕，委署徐闻县知县。这是他当地方官的第一遭。
徐闻在雷州半岛南端，民风淳朴。先生到任后，全县政事，只用一位刑名师爷助理，其余会计钱粮诸事都是自己经理。每旬放告，轻的是偷鸡剪钮，重的也不过是争田赖债。杀人越货，罕有所闻。“讼庭春草荫层层，官长真如退院僧”，实在是当时光景。贵生书院山长杨先生退任，先生改书院为徐闻小学堂，选县中生员入学。邑绅见先生热心办学，乃公聘先生为掌教，每旬三六九日到堂讲经史二时。有清以来，县官兼书院掌教实是罕见。先生时到小学堂，与学生多有接触，因此对于县中人情风俗很能了解。先生每以“生于忧患，死于晏安”警策学生。
又说：“人当奋勉，寸晷不懈，如耽逸乐，则放僻邪侈，无所不为。到那时候，身心不但没用，并且遗害后世。”他又以为人生无论做大小事，当要有些建树，才对得起社会，“生无建树死嫌迟”也是他常说的话。案头除案卷外，时常放一册白纸本子，如于书中见有可以警发深思德行的文句便抄录在上头，名为补过录，每年完二三百页。可惜三十年来浮家处处，此录丧失几尽，我身边只存一册而已。县衙早已破毁，前任县官假借考棚为公馆，先生又租东邻三官祠为儿辈书房。公余有暇，常到书房和徐展云先生谈话，有时也为儿辈讲国史。先生在徐闻约一年，全县绅民都爱戴他。