夫人之相与，俯仰一世，或取诸怀抱，晤言一室之内；或因寄所托，放浪形骸之外。虽取舍万殊，静躁不同，当其欣于所遇，暂得于已，快然自足，不知老之将至。及其所之既倦，情随事迁，感慨系之矣。向之所欣，俯仰之间，以为陈迹，犹不能不以之兴怀。况修短随化，终期于尽。古人云：“死生亦大矣，”岂不痛哉！
乾隆帝听了大笑，说：“王逸少的《兰亭序》被你这么一截，便成了一段精彩的哭妻祭文。你真会抄人家的蓝本啊！”
其实原文中开头那个“夫”字，本是起提示作用的语助词，纪晓岚把它作为实词来用，与后面的“人”字巧妙地合成“夫人”一词，倒也天衣无缝，十分贴切。
纪晓岚与马氏的婚姻，虽不能说有什么爱情可言，但是，他们相伴终生，按照封建官僚缙绅家庭中的正统礼法来衡量，似乎是圆满、完美，无可挑剔的。
纪晓岚共生有四儿四女。他对晚辈不仅严教不倦，更是疼爱有加，舐犊之情，深厚挚切。四个儿子是：汝佶、汝传、汝似、汝亿。纪晓岚督学福建带去长子和次子，三子汝似是回老家第二年出生的，四子汝亿是他六十一岁上老年得子。
纪晓岚丁忧故里的第二年，二十岁的汝估得中举人。这个使父亲寄于厚望的儿子最终却未能成才，于乾隆五十一年(1786年)过早地去世，终年四十五岁。对于他的死因，民间有种种不同的说法。
汝佶，字御调，《大清畿辅书徵》载：“御调，字侠如，又字半渔，有《丰舫诗钞》。”《景城纪氏家谱》记载他为候选知县。民间则说他是一位武官，在押运粮草途中遭劫被杀。支持这一说法的证据，一是文革中纪晓岚墓地被掘时，有目击者说，纪汝佶的棺材前堵头上刻有“督粮大将军”烫金字，骨骸旁边摆有一口锈迹斑斑的大刀。二是沧州朱氏家族中，有其先祖朱庆长同纪晓岚儿子押运粮草遭劫遇害的传说。
这种说法纪氏家族中很多人不认可。纪晓岚自己在《阅微草堂笔记》中，记载了亡儿汝佶死亡的情景：
亡儿汝佶，以乾隆甲子生。幼颇聪颖，读书未多，即能做八比。乙酉举于乡，始稍稍治诗，古文尚未识门径也。会余从军西域，乃自从诗社才士游，遂误从公安、竟陵两派入。后依朱子颖于泰安，见《聊斋志异》抄本(时是书尚未刻)，又误堕其窠臼，竟沈沦不返，以讫于亡。
仅仅“误堕”叛经离道的诗文流派，落入杂书窠臼，还不至于造成人的早亡。纪晓岚的门人梁章钜《楹联丛话》中转述南皮张浮槎的《秋坪新语》，提到了汝佶的死。说纪汝佶病危之时几次昏迷，又苏醒过来。有一天，他说话的语调像是一个山西人，说是来讨要拖欠的。家里人赶忙如数焚化了纸钱，汝佶才闭上眼。家人们正环绕痛哭，汝佶忽又苏醒过来，睁开眼说，他骑的马后脚瘸了，要求换一匹好马。纪晓岚的三女儿哭着说，刚才烧的那匹纸马后腿上的纸破了，于是家人赶紧又糊了一匹纸马焚化，汝佶再也没有醒过来。
这故事说明纪汝佶是病死的，但病因却另有缘故，其中有一节是与晋商债务纠纷之事。纪晓岚在《阅微草堂笔记》里对这件事辨白说：
南皮人张浮槎的《秋坪新语》里记载我家两件事，其中有一件是记我儿子汝佶临死前的情况，倒也有六七成的真实性；只是操西商语调向我家讨债的事不属实，那是野鬼假托以索祭求食。后来我们紧紧追问那讨债鬼的姓名、住址、欠账年月及见证人，那鬼便理屈词穷地逃走了。至于汝佶与别人的债务涉讼案，邢部曾作过核查，详细罗列了债务数目，都记录在案，其中并没有这一条。
这段辨白反倒说明，纪汝佶与人债务纠纷确有其事。乾隆三十九年(1774年)，在御史参奏的一桩案件中，牵涉到纪汝佶拖欠之事，吏部请分别议处。十二月初九得旨：“纪昀不能约束伊子，致令借欠生事，固属咎有应得，但其学问尚优，为四库全书处得力之人，着从宽改为降三级留任，仍令在馆办理总纂事务。”不管汝佶因何而逝，反正纪晓岚直到晚年仍念念不忘这位亡儿，说明他们之间定然有过一段父子相悦、共乐天伦的温馨时光。
其他几个儿子，都有所成就。二子汝传由四库馆议叙，历任湖北布政司经历，江西南昌、九江等府通判。三子汝似善交际，纪晓岚对他的交友十分关注。汝似与兵部主事蒋东桥的儿子蒋秋吟相契。纪晓岚开初对他们来往频繁有些反感。后来见到蒋秋吟的《考具诗》一册，发现那是个有才气有出息的孩子，便听其往来不再阻拦。蒋秋吟通过纪汝似求纪晓岚为其父五十大寿作序，由于纪晓岚跟蒋东桥并不相识，汝似也觉得不好说，没想到纪晓岚竟然爽快地答应了。他说：“我们这些人读书论古，碰到高风逸韵的，常常可以抚卷而想见其为人，不必曾经相识。”此后由子交而父交，遂成世谊。纪晓岚多次为蒋东桥父子诗文画题咏，并为蒋秋吟诗集《沽河杂咏》作序。从这件事也可以看出，纪晓岚对儿子汝似爱重之深。汝似先在掌管朝会和国家庆典的鸿胪寺做序班，是一个掌序百官班次的小官，后加捐广东候选县丞。纪氏家族中传说，他在广东省东莞县任县丞。
纪晓岚对女儿择婿之事十分认真。长女嫁给山东德州望族卢家。女婿卢荫文的父亲卢谦(撝吉)，历任刑部陕西司郎中、广平府同知。祖父卢见曾有诗名，爱才好客，官居两淮盐运使。后因盐引案发，被逮入狱而死。纪晓岚正是因为牵念女儿，瞻顾亲情，在朝廷查处卢家之前，漏言通风，才招致身犯重罪，被贬谪乌鲁木齐。尽管卢家遭受变故，卢荫文仍未放弃进取，于乾隆五十四年(1789年)考中进士，先后在安徽建平、泾县、舒城等县任知县，政声颇佳。
纪晓岚对二女的疼爱，可以从他题画扇诗中窥见一斑。纪晓岚的表弟、沧州画家张桂岩，博学能诗画，尤工山水花卉。他为纪晓岚画了一幅《桑叶饲蚕》扇面。纪晓岚在上面题了一首颇有唐人悯农诗味道的小诗，送给自己的二女儿，诗曰：
花压阑干绣阁春，朱门多少绮罗人。
频将画扇时时看，知有蚕娘最苦辛。
二女、四女都嫁给了山东袁家。女婿袁煦的父亲袁守诚，号曙海，官至山西按察使；伯父袁守侗，累官直隶总督。二人都是纪晓岚的至交。纪晓岚晚年写作《槐西杂志》时，所居槐西老屋，就是女婿袁煦家的房子。当时袁煦在朝任内阁中书军机章京。最近我们发现纪晓岚佚作两篇，一是为济南李廷芳诗集《安蔬草堂诗详注》作序，一是为该书赋诗。序中写道：“余于和斋袁婿处见此集，如逢故友。”该诗集的作者李廷芳(湘浦)是纪晓岚的门人。这件事说明，他与女儿家时相往来，亲串密切。
三女许婚献县戈源之子，只惜命运不济，未嫁而亡。戈氏为献县望族，与纪氏世为姻亲，关系亲密。戈源和纪晓岚同年进士，官至太仆寺少卿。戈源的兄长戈涛曾与纪晓岚同任翰林院编修。其父戈锦，与纪晓岚的父亲纪容舒同为康熙万寿科举人。乾隆二十四年(1759年)夏天，戈锦、纪容舒二人结伴到北京看望各自的儿子。正在京师的钱塘画家沈朗为他们画了《二老比肩图》两幅，戈纪两家各存一幅。河北省博物馆今存有《二老比肩图》原作和嘉庆五年(1800年)临本各一幅。画中有远山近石，绿树清泉，两位身着长衫的老者并坐于山林之中。图上留有刘墉、翁方纲、陈枫崖等文士的题款、题诗、题跋和印章。图卷真实地记录了两家几代人的友情、亲情。戈源于嘉庆四年(1799年)逝世，纪晓岚作挽联曰：
元白旧同年，紫陌寻春，犹记初登同喜宴；
朱陈原共住，黄泉哀逝，竟谁续画比肩图。
纪晓岚和戈源同年进士。联中纪晓岚把自己与戈源的亲密关系，和唐朝诗人元稹和白居易之间的交情相类比。两家的关系也像白居易诗《朱陈村》所写的那样“一村唯两姓，世世为婚姻”。
对于三女儿的夭亡，纪晓岚在《阅微草堂笔记？滦阳消夏录》中做了这样深情的记述：
我三女儿自幼许配给太仆戈仙舟的儿子。不幸的是她于庚戌年夏至那天死去了，那年她才十岁。临死的前一天，病情已经很重了，我却因去方泽参加祭祀土地的典礼不在她身边。她忽然自言自语地说：“今天是初八，明天辰时我就要走了，还来得及和父亲见一面。”守护的人问她何以知道？她便合上眼不说话了。初九那天典礼完毕，我回到府中，果然见到她临死前的那一刻了。她咽气的时候，墙上的洋钟琤琤地打了八响，这事真是够奇巧的。
纪晓岚对侄辈也悉心指导。回乡期间，从侄汝伦(字虞惇，纪昭之子)正在学习制义、试帖，准备应乡试。纪晓岚在汝伦所作的试帖诗作业上题诗云：
十年珥笔凤凰池，格律潜教小阮窥。
他日三条官烛下，诸公应识纪家诗。
“珥笔”是指侍从之臣插笔于冠侧，以备记事。“凤凰池”原意指禁苑中的沼池。后用以代指中书省或宰相。此处指皇宫内苑。“小阮”指侄子。晋朝阮籍、阮咸叔侄都是当时名士，同列竹林七贤，时称大、小阮，后以小阮为侄子的统称。诗的大意是说，自己已经做了十年的内廷词臣，如今要将试帖诗的格律专心教给侄子。将来官场上的同僚，都会知道我们纪家的独特诗体。
试帖诗是一种应试诗体。唐朝以诗取士，进士科必考律诗，以致形成一种专门诗体“试律诗”，又叫“试帖诗”。宋、元、明三代不再考试诗赋。清朝前期只在朝考中有试帖，到了乾隆二十二年(1747年)以后，又在会试、乡试中增设五言八韵试帖诗一题。
试帖诗有很多清规戒律。要求必须是五言律诗，但又不同于一般的五律；一般五律是八句，它却要十六句，即所谓八韵。正格为仄起不入韵式，偏格首句入韵，但不许用邻韵。诗的前四句要把题目大意包括进去，类似八股文的破题；末尾两句必须颂圣，赞扬皇帝或歌颂时政。
纪晓岚承认“诗至试律而体卑，虽极工，论者弗尚也”。但为了应试，他不能不研究它。在去福建之前，纪晓岚在阅微草堂教习儿辈读书，对试帖诗下了很大的功夫。他选编《唐人试律说》后，又编成《庚辰集》五卷。取康熙庚辰年至乾隆庚辰六十年间时人优秀试帖作品，对每首诗详细注释和点评。其用心在于引导学子们在应试学习中不迷失诗法。他煞费苦心地辅导学子作好试帖诗，还身体力行地将本来体裁僵化、内容狭窄的试帖诗尽量作出不同一般的风格。他自称：“试帖多尚典赡，余始变为意格运题，馆阁诸公每呼此体为‘纪家诗’。”
纪晓岚作于乾隆二十二年(1757年)的散馆答卷《夏云多奇峰》和他按己卯科乡试题所作的《秋日悬清光》，是当时试帖诗中两种典型的格式。
夏云多奇峰得峰字
七十二芙蓉，参差淡复浓。
乍疑青嶂合，却是碧云重。
长夏炎蒸气，非烟峭蒨容。
南风吹片片，东岳起溶溶。
触处原从石。飞来即作峰。
凌虚时落影，拔地本无踪。
缥缈三霄近，玲珑四面逢。
会看时雨降，膏沃遍尧封。
秋日悬清光得清字
素节澄西颢，灵曦卓午睛。
霜高秋色净，云敛日华清。
碧落无边阔，红轮别样明。
炜煌含火德，萧爽带金精。
白道凌虚转，黄人驭气擎。
全如开水镜，谁拟挂铜钲。
霁宇羲和驾，凉飙少昊行。
圣朝平秩典，早命省西成。
多年后，纪晓岚又作《我法集》一部，是作为试帖诗范本。他的门人梁章钜在《退庵随笔》里说：“凡作诗不可有时文气，惟试帖诗当以时文法之。先读纪文达师《唐人试律说》，以定格局，其花样则所选《庚辰集》尽之；晚年又有《我法集》之刻。其苦心指引处，尤为深切。着名时贤所作，惊才绝艳，尽有千人所不及者，而扶质立干，不能出吾师三部书之范围也。”
纪汝伦没有辜负长辈的期望，于乾隆三十三年(1768年)中举，做过满城县教谕，后因丁母忧回乡未仕，以教书为业。他始终没有放弃学问，着有《逊斋易述》、《诗述》。纪晓岚亲自为《逊斋易述》作序，对该书给予很高的评价。后来纪晓岚带他到热河文津阁参加校阅《四库全书》。纪汝伦晚年游历福建、河南，有《游闽集》、《中州集》传世。
孙辈中，纪晓岚对长孙纪树馨尤为关爱。树馨，字香林，是汝传的长子。生于乾隆三十六年(1771年)八月。纪树馨于嘉庆元年(1796年)由一品恩荫任刑部江西司员外郎。嘉庆九年(1804年)又升刑部陕西司郎中。纪晓岚为了孙子的加封，两次上折谢恩。纪晓岚在纪树馨收藏的一方紫玉砚上刻有这样的铭语：“端州旧砚，稀若星辰。树馨得此，我为之铭。摭一语于葩经，曰‘尚有典型’。”此处他引用《诗经》中“尚有典型”一语，对于孙子既有嘉许，也有勉励。他在写给朝鲜友人洪耳溪的书信中，夸奖树馨：“此孙尚能读书，俾知两老人如是之神交，亦将来佳话也。”
纪晓岚晚年将文稿和往来书信均交纪树馨保存。纪晓岚逝世后，纪树馨将祖父这些文翰遗稿整理编辑，得诗文各十六卷，题曰《纪文达公遗集》，于嘉庆十七年(1812年)付梓行世，使纪晓岚的大部分诗文作品得以保存流传。