就在纪晓岚即将踏上返京征途时，突然传来父亲去世的消息。纪晓岚悲痛万分，急忙向朝廷告假回家奔丧。
赶回崔庄老家，纪晓岚到灵前哭拜父亲之后，着手安排殡葬事宜。
纪晓岚的父亲生性严峻，有威仪，教子经心。他以精深的学问，丰富的阅历，广博的见识和熟谙官场的练达，对纪晓岚从读书、治学、做人、处世、交友、为官等各个方面悉心指导，谆谆教诲，因而纪晓岚对父亲十分敬重。纪晓岚晚年着作《阅微草堂笔记》时，多次提到父亲“先姚安公”。常说：“每忆庭训，辄悚然如侍左右也。”
纪晓岚追述父亲种种贤德懿行，总想为亡父留存一些可供后人瞻念的遗迹，准备在厂里村修建一座“瑞杏轩”。厂里是纪家的一处庄园，原名宋村厂。明朝时，村边有一座砖厂，建有七十二座连窑，专为烧制进贡的澄浆砖。人们习惯把那儿叫做厂里，时间一长，原来的村名反倒不用了。早年肃宁老儒王德庵先生在厂里设帐教书。纪容舒就读于王先生门下。康熙五十二年(1713年)春天，纪容舒随意折了一枝杏花插入水中，谁知那树枝竟然活了。花落后结出两个小杏，逐渐红熟，跟树上长的一样。就在那年，逢万寿恩科，纪容舒得中举人。王德庵(又作王德安)为这事题写了一帧匾额“瑞杏轩”，悬挂在学塾里。
纪晓岚回乡葬父，想起这件旧事，去寻那学塾和匾额，可惜事隔多年，物换人非，匾额早已没了踪影。厂里那处庄田在分家时落到堂弟纪昐(东白)名下。纪晓岚打算把房子买过来，回北京后请刘墉重新写一匾额，刻石镶嵌于屋内墙壁上，后因自己在仕途上遭受变故，此举未能实施。
古代制度，官员死了父母叫丁忧，需要解职回乡居丧，以尽孝道，叫做守制，俗称守孝。原则上守制三年，实际上只需二十七个月，首尾相接够三年就算满期。丁忧守制，使纪晓岚有暇与分别多年的兄弟子侄、乡邻亲友畅叙别来之情，尽享天伦之乐。
纪晓岚那位大哥纪晫(晴湖)，此时已年届六旬，成了一家之长。堂兄纪昭、纪易，堂弟纪昐、纪晊、纪旭、纪昉都在家中。兄弟之间常常聚坐长谈。
纪晓岚的父亲一生娶过三位夫人。原配献县留福庄安氏，生子纪晫。安氏于二十九岁上病故。继配沧州张氏，未育，于二十六岁上去世。又继配张氏之妹，生纪晓岚。大户人家嫡出庶出之间，常常亲疏远近，机械万端。由于父亲善于治家，常言“世情万变，治家者平心处之可矣”，所以纪晓岚与前母所生的大哥相处得亲密无间。大哥性格淳实淡静，从小就提挈保护自己的小兄弟。其亲密程度胜过同胞亲生。在七八岁之前，纪晓岚不知道自己和大哥是异母兄弟，年龄稍大虽然知道了，由于晨夕相处，一点也不觉得有异母的生分。纪晫一生不善钻营，如今愈加老成持重。兄弟们谈话中提及世态万状，人情冷暖，纪晫说：“与人交往是件很累的事，有些人为了会见客人，又整衣又正冠，说话还要字斟句酌，简直如临大敌，何必如此费尽心机！”
纪晫也曾涉足科举，乡试未得中，他也不在乎。他说，仕宦之富贵，文章之名誉，不过如流云逝水，瞬息而没，无所谓的。四弟你善作议论驰骋之文，我就不喜欢那样张扬。不过你做得对，总算没有辜负父亲的期望，圆了父亲的梦想。看到你博取了功名，又仕途顺畅，父亲生前非常高兴。如今父亲寿终正寝，可以含慰九泉了。
纪晓岚跟堂兄纪昭(懋园)交谈，更多的是切磋学问。二人于乾隆十二年(1747年)丁卯顺天乡试一同中举。之后纪昭会试也未能过关，随即在内阁任中书舍人。当时纪晓岚在京城与一班少年才俊诗句相唱和，纪昭只是偶尔参与，更多的时间则恬然寂寞，闭门和两三位志同道合的人切磋学问。乾隆二十二年(1757年)，纪昭成进士。他已经在内阁干了八年，正值宗人府主事有缺，本来很有希望升迁，但第二年纪容雅病危，纪昭便告假归里侍奉父亲。父亲死后接着守孝，后来再没入仕，隐居乡间研究学问，教授学生。
纪昭的文章宗法韩愈、欧阳修，学问则服膺宋五子周敦颐、程颢、程颐、张载、朱熹。他对阴阳、舆地、医卜、算术等学科都有深入的研究。此时他正在编纂《毛诗正义》、《养知录》、《骚经章句》、《文选赋注》等书。后来，前两种被收入《四库全书总目》。
纪昭生性和善，敦睦亲旧，急人疾苦。早在内阁为官时，多次帮助同僚排解家中疑难。回乡后他在村南旧园里盖房子。风水先生告诉他说，那块地基正在八卦的离位上，最吉利，如果把房子盖得高大，居住者有利，而对周围兄弟住户则稍微有些不利。于是他便把房子盖低些，宁可自己不利，也决不损人利己。到了晚年在病危之时，纪昭把平生着作交给儿子汝伦，并口授五言诗一篇：
人生天地间，有生必有死。
生者动有为，死者长已矣。
劳逸固有节，否泰亦其理。
余生薄祜相，事顾不获己。
我欲效古人，古人不易企。
俗士之所营，我心又不喜。
徒抱耿介性，兀兀遂至此。
晚年思奋发，锐意攻其里。
缅惟古圣心，精荟儒先旨。
先儒世不同，异论以时起。
群言日淆乱，谈经经逾否。
还以衷诸圣，庶几澄其滓。
但很才力弱，志远而识迩。
亦有会心时，欣然忘其鄙。
直躏古人室，相与观无始。
服兹未历年，时光惊逝水。
一病不获安，二竖常依倚。
壮志曷有极，悲哉从此已。
诗句表现了纪昭钻研儒学经典至死不渝的执着精神。就在这次纪晓岚守孝期满临回北京之前，纪昭为堂弟送行写了一首《送晓岚弟赴补》诗：
祖帐春园俨画图，新莺求友遍相呼。
座倾宾客真输汝，老怯津梁定笑吾。
敢道山林胜钟鼎，无如鱼鸟乐江湖。
归途便赴邻翁约，以备看花酒满壶。
表现了他淡泊仕途，甘居林泉的志趣。
居家之日，纪晓岚逐渐从丧父的悲痛中缓解过来，尽情感受故园的乡风野韵。多年在外历经书山险路，宦海惊波，难得有如此安闲舒适。
他徜徉于田间林下。深秋枣熟季节，鲜红的枣果成串成簇，压得树枝下坠接地。红果绿叶之间，三三两两男女枣农在举杆扑枣。枣随杆落，滚珠跳跃，如红雨洒地，煞是好看。纪晓岚触景生情，想起《诗经》里“八月剥枣”的古韵，随口吟咏：
八月剥枣时，檐瓦晒红皱。
持此奉嘉宾，为物苦不厚。
岂知备贽谒，兼可登笾豆。
桂子不可食，馨香徒满袖。
他感叹故乡枣树动辄成林，枣子俯拾皆是，但枣农不把它看作稀罕之物，甚至觉得招待客人都拿不出手。岂知此物早在上古时期就被用来充当晋见的礼品和祭祀的供品，远比南方的八月桂花珍贵和实惠。可喜的是那时已有人懂得调剂余缺，长途贩运，往北用车辆运到京师，向南随漕船捎去南方各省贩卖。不少人家以此为业。
崔尔庄往南六里，有一古镇名叫高川。高川地势呈鱼背状隆起，滹沱河东支流由镇南向东绕行。那里有一处码头，设有把总驻防。平原地势平坦，一览无余，唯高川一带，望去林木荫翳，蔚然深秀。纪晓岚听父亲说过，乾隆八年(1743年)夏天，高川村北天坠一龙。纪容舒坐着马车前去观看，赶到后听说龙已经升天了，地里的庄稼被践踏了一大片。实际上那是下暴雨时形成的一种弯转悬垂，宛如龙形的积雨云。直到今天，该地的天象奇殊，2000年、2001年连续两年盛夏之季，天降大冰块，砸断了几棵盛果的枣树。
纪氏在崔庄有一处规模宏大的宅院。院内小巷曲折，若干处四合院毗连坐落，又有几座小楼耸立其间。被称作九门九贯巷。纪晓岚回乡之后，在院中又修筑了一所小楼。登楼远眺，长风扑襟，彩云入目。纪晓岚为它取名“对云楼”，并赋诗二首记之：
还乡翻似到天涯，筑得书楼便作家。
偶睇郊原成野趣，拟从田老课桑麻。
长夏云峰入望深，轩开四面好凭襟。
儿曹莫笑村居隘，两载经营一片心。
这期间，纪晓岚又将父亲所刊订的《家谱》重加续修，取名《景城纪氏家谱》。冠名景城，就是为了纪念始祖落籍景城，以示不忘本。谱中体例一一参照古来名家谱牒。纪晓岚下笔记载自己的母亲张氏时，措词极其谨慎：“(容舒)元配同县安讳国维之女……继配沧州张讳棻第二女……继配张讳棻第三女。诰封宜人，晋恭人，累赠一品夫人。”在《序例》中他引经据典，说“妇曰某夫人，据欧阳氏谱也”。“士庶妻亦曰夫人据朱子语类也”。“曰元配，据《晋书？礼志》文也”。“曰继配，据王介甫《葛源墓志》，介甫又据《仪礼》也。不曰继室，古之继室非妻也；不曰中娶，不曰次配，皆僻也”。在这里，纪晓岚为了给作为父亲第三娶的生母正名分，可谓煞费苦心。
纪府女眷中，纪晓岚的两位前母早已过世，生母也于乾隆十五年(1750年)驾鹤西归。此时长辈中尚有两位婶母。一是三叔的继配夫人高氏，一是四叔的继配夫人李氏。按大排行，纪晓岚称纪容雅为三叔，称纪容恂为四叔。纪晓岚对两位婶母非常孝顺，待如亲母，两位婶母待他也像亲儿子一样，特别是四婶李氏对纪晓岚更亲。
他回到北京之后，四婶常常亲手缝制些鞋袜佩囊之类的物件捎过去。其实，当时三婶高氏只有四十八岁，四婶李氏则跟纪晓岚同龄，时年四十一岁。在当时那种社会里，大户人家的男人续弦、纳妾的事司空见惯。所以年龄跟辈份常不相符。这并不影响长幼次序，况且继配也属正娶，更应受到尊重。二十六年之后，纪晓岚在北京得知四婶去世，十分悲痛，亲自撰写《祭四叔母文》，对这位同龄长辈口口声声称作“老人”。说自己朝廷为官，身不由己，不能时常在老人身边侍奉。他原计划在三年后叔母七十寿诞之日，邀同僚为她置酒庆寿。只惜在他们六十七岁上，传来讣音。纪晓岚深深为此而抱痛。
纪晓岚为父亲送葬是带着家眷回乡的。督学福建，他就携家同去。途中有《初到江船》二绝，其中一首写道：
芦篷团坐似茅庵，大妇携将小妇三。
白舫青帘行画里，拥炉一夜话江南。
诗中“大妇”自然是指纪晓岚的正配马夫人，“小妇三”应指纪晓岚的小妾郭彩符和两个儿媳张氏、赵氏。那年长子汝佶二十岁，次子汝传十六岁。他俩都已娶妻。
纪晓岚这次里居期间，正赶上岳父马永图的三叔马雍去世。马雍曾任直隶元城县(今属河北大名县)训导，故又称元城公。乾隆三十年(1765年)四月，纪晓岚去东光参加了元城公的葬礼，留宿岳父家。晚年的马永图，操持建宗祠、置祭田、主持重修家谱。他嘱咐女婿为重修的《马氏家乘》作序。
马氏也是明初移民，一世祖马十六原籍山西陵川县。明永乐二年(1404年)，马十六来东光县城南十里落脚，立村称老马庄，渐渐成为东光望族，自明嘉靖朝到清乾隆年间，有九人中进士，《马氏家乘》很早就已修创。康熙末年，翰林院侍讲陕西绥德人马豫，应邀以同宗身份为《马氏家乘》作序称：“开马氏之基业者，乃十六公也。阅五世而至节甫(汝松)公，登嘉靖甲辰进士，位列谏垣，名着朝右。嗣后，科第蝉联，簪缨蔚起，累累若若，分猷赞化者几遍皇衢。东西朔南啧啧称东邑马氏为巨族焉。”马永图主持的是第五次续修。当年七月，纪晓岚践约把序写成。序中称“推一本之爱，油然而生孝悌之心”。
乾隆三十一年(1766年)马永图逝世。七年后，儿子马兆晟将父母遗骨迁葬于东光县城西六里路庄(今属阜城县)新茔。纪晓岚为岳父撰写了《墓志铭》。《墓志铭》把马永图为本族节妇捐田、立嗣、请旌之事作了详细介绍，由此而推论墓主“行谊政绩虽不尽传，然知九族为一体，必知万物为一体，此一二事者，天下后世想见公之生平矣”！
嘉庆元年(1796年)四月初八，七十六岁的马夫人病逝。已经做了太上皇的乾隆帝派侍卫前去纪宅祭奠。这属于特殊礼遇了，纪晓岚即刻去向太上皇帝当面谢恩。乾隆帝问道：“你是海内有名的文豪，而且夫妻感情深厚，一定会有很好的悼亡之作呀。”纪晓岚说：“臣年岁老了，体衰多病，文字也渐颓唐，不足以登作者之堂。然而，我们毕竟是六十多年的结发夫妻，鼓盆之痛，哪能没有！仅抄袭了古人的一段陈言，聊致怀念之意吧。”用古人现成文字为自己妻子致悼也算是一件新鲜事，乾隆帝愿闻其详。纪晓岚把王羲之《兰亭序》中的一段念给他听：