纪晓岚自忖这“万里他乡遇故知”，确实要比那“十年久旱逢甘雨”、“和尚洞房花烛夜”、“监生金榜题名时”胜过百倍。一时兴起，便将自己年轻时改“四喜诗”的事叙说一遍，引得在座的人无不捧腹大笑。
温福说道：“真想不到，你头上的顶子都没了，还是这样无拘无束，真乃天下奇人！”纪晓岚说道：“不才食朝廷俸禄，蒙圣上恩宠，本当以身许国，不徇私情，既然已坐泄漏查盐之案，又蒙圣上免死之恩，当思全力报效，决不重蹈覆辙。今日离家万里，得见温大将军，这也乃不幸之中的大幸！愿在帐下效力，纪昀冒死不辞。”温福想到，莫非他看出我有留他的心意来？帐下能有纪晓岚这样的谋士，这是做梦也想不到的。只可惜，纪晓岚是戴罪充军，无力加委，待日后立功，定当禀奏朝廷，使其早日获释。
温福安排他掌管案牍文书，可以少受征战之苦，这项工作对于纪晓岚来说，真是轻车熟路，从容自如，但他一丝不苟，从不草率行事。由于他豁达、诙谐、坦率、没有架子，很快就受到上下人的赞佩。
既然来到军队，他就想成为一个真正的军人。于是他在每天操笔之余，还演习武艺，骑射步战，威武异常。若陌生人见之，很难相信他竟然是翰林院出身的一介书生。军中高手云集，正是他学习的好机会，他勤学苦练，不耻下问，很快就熟悉了各种兵器。他又重新研读了各家兵书战策，颇有些特别的见解，成为温福的得力谋士。有了纪晓岚的帮助，温福如虎添翼，屡建战功，很快得到了升迁，后来官至大学士之职。
比起那些尸骨不还的流放者，纪晓岚是一个幸运者。
如果说纪晓岚对自己遭遇流放毫不介意，那不是事实，远戍他乡毕竟是痛苦的经历，更何况前途未卜！
有一次，纪晓岚骑马出了乌鲁木齐城，来到城西的一片丛林之中游览。纪晓岚看这一片茂密的森林，老木参天，野花开谢，绵亘数十里，起伏跌宕，满目青翠，顿感心旷神怡。骑马在森林中穿行了一个时辰，居然眼前一亮，出现了一片空地。空地的中间建有一亭，亭额上题着“秀野”二字。纪晓岚心想，大概这就是当地人说的秀野亭了。仰望周围秀色，心想“秀野”两字最为恰切。他正看着，忽然间感到眼前的景色是那么熟悉，好像以前见到过。他想来想去，想起是从一幅画上见到的。那幅画是在京城时，好友董文恪赠送给他的，题为《秋林觅句图》。这眼前的树木、野花、亭阁，宛如画中之境，让人十分惊讶。思忖良久，以为贬戍新疆，乃是命中注定，那幅画不正是一种预言吗？
霜叶微黄石骨青，
孤吟自怪太零丁。
谁知早作西行谶，
老木寒云秀野亭。
乾隆三十六年还京以后，纪晓岚写下了上面这首绝句，以表达当时的心情。宋代民族英雄文天祥，临死之前写有《过零丁洋》诗以自哀。而此处的纪晓岚也“零丁”“孤吟”，其哀伤的心情可以想见。
还有一次，纪晓岚跟随巴彦弼到军台巡视，巴彦弼看到纪晓岚那细致认真的态度，心里十分高兴，便把这里的事交给纪晓岚代行办理，让他留在军台，自己回到城里去了。
晚上，纪晓岚与一位姓梁的副将同住一屋。两人谈到深夜，梁将军和衣睡下，纪晓岚取出随身携带的书卷，在灯下阅读起来。约在三更时分，侍从进来报告，有份紧急文书需要立刻传递。纪晓岚见粱将军尚在酣睡，不忍叫醒他，便唤军卒去送。谁知军卒都已被差遣出去了，身边的几个侍从又都不熟悉路途，只好将梁将军推醒。
梁将军睡眼惺松地接到文书，策马疾驰而去。时间不长，梁将军回来，说大约行了十余里，遇到台兵，将文书交给台兵送走了。说完倒头又睡下了。
第二天，梁将军起床以后，感到屁股隐隐酸痛，怔怔地想了想，对纪晓岚说道：“纪大人，你说这事怪不怪，昨天夜里，我梦见您派我送朝中的文书，我惟恐耽误了，不断地抽打马匹，那马狂奔如飞……”说着他摸摸屁股，“到了这会儿，这骶肉尚有痛楚之感，真是个怪事！”纪晓岚哈哈一笑，告诉他昨夜的经过，梁将军不好意思地说：“昨夜之事，如梦如幻，这军中的生活，把人搞得疲惫不堪啊！”听了梁将军的话，纪晓岚为自己的身世遭遇感慨起来，叹息着说道：“唉，人生本来就是一场梦啊！我这里倒有一首诗相赠。”接着，便吟道：
一笑挥鞭马似飞，
梦中驰去梦中回。
人生事事无痕过，
蕉鹿何须问是非？
“好诗，好诗！”说话的是一位胡须灰白的老将军，他笑着走进屋来。纪晓岚一看认识，这人叫毛功加，也是一员副将。毛功加少时胸怀壮志，投笔从戎，在军中屡建战功，无奈不受上司赏识，多年得不到升迁，现在已年迈，早已失去了青年时代的凌云壮志，整日里与酒为友，把盏狂饮，醉后倒地便睡，常与纪晓岚述其经历，两人颇为投契，常有往来。这时，毛功加拱手说道：“既然老弟诗兴大发，老朽也向你求诗一首，梁将军你看如何？”梁将军得到纪晓岚的赠诗，已是十分高兴，赶忙附和说道：“我们常年征战沙场，疲惫不堪，没有心思吟诗作赋。纪大人诗风刚健，沉雄古朴，与唐代岑参、高适等边塞诗人相比，有过之而无不及。以我们一介武夫看来，你这一诗也能抵千军，纪大人不要推辞。”纪晓岚见毛、梁二人一唱一和，不好再推辞，便拿起笔来，挥毫而就。毛功加看了，见这诗写得十分贴切，顿时心中洋溢出豪迈的情怀。此诗写的是：
雄心老去渐颓唐，
醉卧将军古战场。
半夜醒来吹铁笛，
满天明月满林霜。
毛功加对诗虽有一定功底，但与纪晓岚比较相差甚远，如今得到这首诗后，高兴异常，逢人便讲纪晓岚的诗写得如何如何地好，这下倒给纪晓岚添了许多麻烦，请求题赠者蜂拥而至。本来纪晓岚到新疆后很少作诗，尤其是怕为别人题写赠诗。这次一时兴起，题写两首，后悔自己不能自持初衷。因为他现在的身份不比从前，这次是戴罪充军，岂敢任意为文？
再说，胡乱写来，有损自己的声誉，认真为之，又难免不流露出自己的心迹，如果有人想落井下石，岂不正是授人以柄。于是更加小心，凡有求诗者，全部婉言谢绝，并将原来所作诗稿付之一炬。
他的同年杨逢元到乌鲁木齐来看望他，两人谈起题赠之事，颇有同感。杨逢元的字写得非常好，是个书法家。但也像纪晓岚怕人求诗一样，最怕别人向他求字。纪晓岚说过为毛功加赠题一诗后，杨逢元看了，深感佩服，觉得此诗意境幽深，确实是上乘佳品，十分喜欢。后来，他游城北关帝庙时，一时兴起，将这首诗题在了关帝庙的楼壁上，但未署明何人题写。
正巧，这时有一位云游道人来到这里，看了楼壁上的题诗，大为吃惊。诗好，字好，美妙绝伦，疑为神仙所题。此事一时间传扬开来，人们纷纷赶到这里看神仙的墨迹。
一天，有人拉上纪晓岚同去看那庙里的“仙笔”，纪晓岚一眼认出是杨逢元的字，写的是自己赠给毛功加的诗。看到人们奉若神明的样子，忍不住想笑，但一想若是泄露“天机”，那将会给自己招来许多麻烦。故而，任别人如何颂扬，他只是一言不发。
当时，人们都知道，纪晓岚的诗作得好，但书法比不上杨逢元；杨逢元字写得好，但诗却作得平平常常。所以竟没有人猜测到他俩头上去。于是“仙笔”之事越传越神，人们都信以为真，直到辛卯年纪晓岚离开乌鲁木齐还京时，他才当众把这件事说出来，众人都怅然若失，谁也没想到顶礼膜拜的“神仙”竟然是他们二位。
纪晓岚在西域三年，一来忙于军务，二来为杜绝请托，故很少作诗。他在晚年写成的《阅微草堂笔记？姑妄听之》中写道：“余从军西域时，草奏草檄，目不暇给，遂不复吟咏，或得一联一句，境过辄忘，《乌鲁木齐杂诗》一百六十首，皆归途追忆而成，非当时作也。”纪晓岚的这些诗作，为清代诗坛带来了新鲜气息，而且今天看来，也有一定的文学价值和史学价值。其中有些较为特殊的纪事诗，记载了西地的风物人情，其功力深厚，非他人可及。
伊犁城中没有水井，有因老树得地泉者，纪晓岚认为“盖土厚水深，乃卜地通津以就流水”，于是，以诗记曰：
半城高阜半城低，
城内清泉尽向西。
金井银床无用处，
随心引取到花畦。
伊犁雪消水涨，城门为之不开。于是，他登上北冈顶关庙楼，俯视全城，遂写道：
山围草木翠烟平，
迢递新城接旧城。
行到丛祠歌舞处，
绿毡毹上看棋枰。
昌吉筑城，掘土五尺余深时，挖到一只红缎面绣花女弓鞋，制作精细，尚未全朽，埋入土中五尺多深，算来最少亦越数十年。额鲁之女子不缠足，何以此鞋却是弓弯样，仅三寸许？番汉之间交往于兹可见。后传说此女尸飞到空中成精，昌吉大乱，卒遭兵败。纪晓岚见此，以诗记曰：
筑城掘土土深深，
邪许相呼万杵音。
怪事一声齐注目，
半钩新月藓花侵。
乌鲁木齐有很多狭斜的深巷，有小楼矗立其中，自谯鼓初响至寺钟晚鸣，总是灯火荧荧，冶荡之人在这里为所欲为，官府不禁，也不能禁。
有宁夏布商何某，年少美姿，资累千金，亦不太吝啬，却不喜欢做狎妓之游，只是养了十余头母猪，饲养得很肥，洗涮得很干净，“日闭门而沓淫之”，猪也相摩相倚，如昵其雄。役隶常偷偷地窥视，何某却没有发觉。忽然一天，友乘醉酒时与之戏话，何某愧而投井死，要不是迪化厅同知木金泰亲自审理了此案，纪晓岚也是不会相信的。其诗记曰：
石破天惊事有无，
后来好色胜登徒。
何郎甘为风情死，
才信刘郎爱媚猪。
有军人王某，出差往伊犁，其妻独处。忽有一天，时已过午，不见开门，邻人叫亦不应，破门而入，则见男女二人，剖腹裸抱而死，男子不知何来，人亦不识。后女复活，言男为故识，自随夫来西域，男亦随之而来，乃共约而死。纪晓岚诗记此事写到：
鸳鸯毕竟不双飞，
天上人间旧愿违。
白草萧萧埋旅村，
一生肠断华山畿。
为了打发难熬的日子，纪晓岚养了许多狗，而且每天与狗相伴。其中，有一只名叫“四儿”的黑犬与他感情最深。
乾隆三十六年(1771年)，纪晓岚遇赦东归时，他把所有的狗都给了别人，惟有“四儿”挥之不去，恋恋随行，竟一直跟到了北京。“四儿”一路上看守行囊，如果不是主人到跟前，就是童仆也不能动一件物品。有谁要稍稍靠近，它就像人一样立起来瞪着你。
纪晓岚一行十余人，共有板车四辆，有一天傍晚，路过名叫七达岭的山岭，天色就要黑下来，车队一半在岭南，一半在岭北。黑犬“四儿”就自动地独卧岭巅，左右看护两边车辆、物品，一夜不曾休息。后来，纪晓岚为此写了两首诗：
(一)
归路无烦汝寄书，风餐露宿且随余。
夜深奴子酣睡后，为守东行数辆车。
(二)
空山明月忍饥行，冰雪崎岖百廿程。
我已无官何所恋，可怜汝也太痴生。
“四儿”一直追随纪晓岚进京，后来被人毒死。有人说：“奴仆们讨厌它守夜太严厉，就借口强盗杀死了它。”纪晓岚念其忠心耿耿，特别伤心，收了它的骸骨，埋葬入土，做了一个坟墓，并在墓前立碑，题：“义犬四儿之墓”。原本还想雕一些石头像，象征随他出塞四奴的形状，跪在“四儿”的墓前，分别刻上：赵长明、于禄、刘成功和齐来旺。后来有人又说：“让四个奴才在四儿身边，怕是狗也嫌弃他们。”于是作罢，只是在这些奴才房门楣上题写“师犬堂”几个字而已。
这件事在当时人袁枚的《随园诗话》中也有记载。纪晓岚为了一条狗而如此动情，如此不惜笔墨地加以描写、记述，恐怕不仅仅是喜欢宠物的心理，而是与当时的心情有密切的关系。清代臣民例称奴才，纪晓岚归程有义犬相伴，忠心耿耿，无疑是他为大清效忠的个人写照，故诗中有“空山明月忍饥行”句，然而无官可恋，只有自嘲“太痴”了。远戍万里之外，回首前程，真不知如何度过，故以“四儿”之名作诗自况，寄托自己充满心酸的记忆。当然，对“四儿”的赞扬，也成了对人类正直、忠诚等美好品质的渴望与赞扬。
且说纪晓岚离家以后，纪府就像塌下半边天，虽然有友人和门人接济，但削去了俸禄，生活日渐拮据，入不敷出。多亏马夫人十分精明，治家有方，样样节俭，尚能维持家用。但丈夫服罪在外，一家大小失去了往日的欢乐。马夫人忧戚劳累，终于积劳成疾，生了一场大病，病愈后身体更加削瘦了，精神也大不如前。马夫人看到自己力不从心，就将家中之事，交给郭姨太料理。姨太郭彩符，是一个贫寒人家的女儿，其父是山西大同人，流寓在天津。
郭彩符十三岁开始给纪晓岚当侍妾，勤恳恭俭，十分贤慧，深得纪晓岚眷爱，马夫人对她也相当满意。郭彩符先后生了几个儿子，但都夭折了，惟独女儿纪韵华长大成人，她把女儿视若掌上明珠。这次老爷获罪，是因女儿纪韵华的公公爷引起的，所以郭姨太感到老爷对自己和女儿的感情，丝毫不在结发夫人马氏之下。正因如此，老爷发配边疆历尽人生磨难，全家人也跟着吃苦受罪，郭姨太感到负疚更深，想竭尽自己的力量帮助马夫人将家治理好。
马夫人患病以后，郭姨太像当年侍奉老爷那样照顾夫人，亲自烹食煎药，一勺一勺地给夫人喂食，整夜守在马夫人的床头，使夫人感激不已，两个人亲如姐妹。同时，郭姨太也表现了治家理财的才干，马夫人卧病期间，她把全家的大小事体处理得井井有条。郭姨太为一府主事之后，更加勤恳地操劳，对夫人恭敬有加，对下人恩威并施，极力维持着一家的安宁。
本来纪晓岚的长子纪汝佶已乡试中举，且年已二十三四岁，应该由他代父料理家中的一切，但自父亲离家以后，他厌恶人世间的一切，对科举失去了兴趣，只是在诗社中与一帮诗友才士交游，迷上了公安、竟陵两派诗作。朱子颖进京探望时，听马夫人介绍了汝佶的情况，便提出带他去山东。马夫人知道朱子颖是纪晓岚的得意门生，又对纪家关怀备至，便同意让汝佶跟朱子颖去了他的住所泰安府。