康熙丙子(1696)年，县邑大闹饥荒，纪晓岚的曾祖纪钰出米三百斛为粥，救活了许多人。县邑还有许多人欠债不能偿还，纪钰又仿效春秋战国时代的平原君“因焚其券”，悉数免之，赢得乡人的敬重。纪策“……乡党议之，尤重文学，捐数百金置义馆于周家村，延师课士，远近就学甚众，多所成就。”康熙六十年(1721)、雍正四年(1726)纪晓岚的祖父天申公“煮粥救活灾民可万人。中丞沈公方伯德公皆旌其门，又值义学于淮镇，资以修脯几若干年。”正因为这样，民国薛凤鸣等人纂修的《献县志》中评说道：“邑人好施予者，以纪氏为最多，收效亦以纪氏为最大。”
在纪氏族人中，对纪晓岚影响最大的是他的父亲纪容舒。
纪容舒，字迟叟，号竹崖，景城纪氏第十三世。纪容舒于康熙癸巳恩科得中举人，又于雍正十二年(1734)被授户部四川司主事，成为纪氏走进朝中做官的第一人。他先后在户部、刑部任职，义外放云南姚安知府，因而存纪氏家族中被尊称为“姚安公”。
作为一名官吏，纪容舒政绩平平。作为一名学者，他却博闻强记、精于考证，饶有成就。他所着的《唐韵考》推寻考校，具有条理，“故言小学者宗之”。他所着的《〈玉台新咏〉考异》，参考诸书，裒合各本，引证颇为赅备，考辨亦颇详悉。他还着有《杜律疏》一书，对杜甫律诗“字字句句备为诠释”。在这位姚安公身上，显然流贯着献县“实事求是”的地域性学术传统的神采。
纪容舒对儿子的调教是十分成功的。
纪晓岚四岁开蒙入学。当时年龄以虚岁计，他生于雍正二年(1724)六月，半年以后进入雍正三年，即为两岁。一般大户人家延聘西宾教习子弟，也多于正月十五后开馆。如按此推算，纪晓岚入学时实足年龄只有两岁半，应属“早期教育”。据他自己后来回忆，“余自四岁至今，无一日离笔砚”。
童年纪晓岚是在家庭“督之甚严”之下度过学习生活的。紧严的管束是中国传统童蒙教育的特色，它虽然戕害儿童自然活泼的天性，但也同时为日后旧学的登堂入室打好坚实的基础。
纪晓岚的开蒙教师是交河老儒及孺爱。此人博古好学，光明坦白，粹然有古君子之风。他跟纪家是亲戚。但他笃信程朱理学，于世事从未问闻。及儒爱教授纪晓岚时间不长，仅授之书，识句读而已。
纪容舒不但学问精深，更是世事通达。他反对死啃书本，埋首书斋，以为：“子弟读书之余，亦当使略知家事、略知世事，而后可以治家，可以涉世。”他曾以河间兵乱时因书生气十足而遇难的两位先祖为例，说明死读书、读死书的教训。
当时，城里人都知道侵掠的大兵就要杀过来了。纪家的曾伯祖们也在收拾行李，准备回老家避难。就在临行之前，邻居一位老叟指着门神发牢骚说，如果今天能有将军像门上贴的这两位唐朝的武将尉迟敬德、秦琼一样，也不至于国家落到这种地步。纪家的两位曾伯祖正在门外打铺盖，听了这话，停下手中的活跟人家争辩起来，说：“你说得不对，这门神是神荼、郁垒的画像，不是尉迟敬德和秦琼。”老人不服，回屋里翻检出邱处机的《西游记》作为证据。两位曾伯祖自恃读的书多，说《西游记》是街谈巷语之末流小说，不足为凭，于是也进屋找出东方朔的《神异记》，翻出凭据，继续跟老人辩论。本来当时天已很晚，他们又找书，又争论，一来二去天黑了下来，城门已经关闭，无法出城了。待到第二天再想走，已经晚了。大兵围困了河间，很快攻破城池，冲进来大肆杀戮。纪家的这两位曾伯祖遂成了刀下之鬼。
讲到这里，纪容舒说：“死生呼吸，间不容发之时，尚考证古书之真伪，岂非惟知读书不预外事之故哉！”
后来纪容舒为纪晓岚请的老师多是有个性特色的名士。如南皮许南金、东光李若龙、南宫鲍梓、宛平何绣、富阳董邦达等。
许南金，三岁丧父，八岁失母，由叔父养大。自幼发奋读书，不事浮嚣，淡而弥永。雍正元年考中举人，之后三试春闱不第，于是放弃仕途，设帐课徒，“慨然以振名教、维风化为念”。光绪《南皮县志》里称，“出其门者多通儒”。
许先生品格高尚，不怒自威。有一年，一个新上任的南皮县令，威仪出行，一帮衙役在官轿前鸣锣开道，吆五喝六，狐假虎威。许南金正骑驴行走，听到身后一阵喧嚣，锣声当当，回头一看，见官轿汹汹而来。他把小毛驴的缰绳一抖，靠边缓缓而行，稳坐驴背，不慌不忙，不紧不慢。众衙役把他锁拿下狱，但他终未屈服，县令只好把他放回。
由于许南金操行纯洁，“检查生平，无不可对鬼魅者”，故民间流传诸多许南金不怕鬼的故事。如半夜里借用鬼眼读书，如厕时把鬼头作烛台。这两则故事，被收入中国社会科学院1961年出版的《不怕鬼的故事》里。
至今犹存的许南金墓碑碑文所附的授业门人名单中，纪昀和堂兄纪易赫然在列。南皮许庄距崔庄百余里，纪容舒送子侄负笈帐下，自有一番良苦用心。
东光李若龙，字又聃，雍正十三年(1735)举人，着有《又聃诗草》。文词精粹。李若龙反对道学家的空谈，喜欢谈狐说怪，与纪容舒、纪晓岚父子关系融洽，与纪晓岚的岳父东光马永图也是好友。
《阅微草堂笔记》里记载了不少李若龙讲的故事。其中一则讲道，雍正末年，东光城内，忽一夜家家犬吠，声若潮涌。人们出门观看，见月光下一人披发戴孝，手执巨袋，立于屋脊之上。良久又移至别家屋顶。第二天人们发现，凡那人所立之处，都留下两只鸭鹅。有人煮着吃了，味道还不错。不过，凡得到鸭鹅的人家，都陆续发生了死葬。当时马永图家也得到两只鸭子，结果，马永图的弟弟、时任陕西巩昌府靖远同知的马永命讣音传来，人们才知道，原来是凶煞出现了。
李若龙还讲了一个懂礼义的狐仙的故事。东光某一家住有狐仙。有一天狐扔砖瓦，打破了那家的盆罐。那家人就大骂狐狸。到了夜里，听见有人敲窗户说话：“您睡了吗？我有话要跟您说，邻里乡党一块儿住着，小孩子们互相磕磕碰碰的事是常有的，遇到这种事，能原谅就原谅，不能原谅时可以告诉大人，其父兄自会处置，何必恶语相加，伤了和气。再说，我辈出入无形，往来不测，你们闻见不及，提防不到，您想，跟我们作对，有你们的好吗？”某人听了，连忙披衣起身道谢。从此相安无事。每逢遇到某个家庭或邻里发生纠纷时，李若龙常常感叹：“殊令人忆某氏狐。”
从后来纪晓岚多次提到这位老师可以看出，李若龙对纪晓岚是深有影响的。光绪《东光县志》称：“纪文达公昀谓(李若龙)为一生得力师。”
鲍梓，又字敬亭，直隶南宫(今属河北邢台市)人。雍正元年(1723)成进士，授安徽霍山知县。在霍山任期，父亲亡故，鲍梓正准备交接离任，忽然山洪暴发。鲍梓不顾家事，立即组织船只打捞溺水难民，并及时开仓放粮，以救燃眉之急。谁知事后鲍梓竟然以“擅作主张”的罪名被革职。后来，鲍梓又出任福建漳平知县，到任后革除陋规，减省徭赋，汉仅两年，当地百姓就开始传唱“官清如水，吏穷如电”的民谣。清官正是贪官的眼中之针，没有多久，一纸贬令，把受民拥戴的鲍梓，补了个献县教谕的缺。
博学工文的鲍梓，本来没把这个官职放在眼里。(《阅微草堂笔记？姑妄听之》里有个故事，讲康熙年间，五个赶考的举子半路遇雨，夜宿破庙之中。深夜遭野鬼魇迷，一会儿已有三人被吃。群鬼拉过第四个人刚要动嘴，忽有一老翁闯入，厉声叱道：“不可造次！此二人有禄相，不可犯也。”众鬼立即惊散。后来据说这两个鬼口脱险的举子，一个当了教谕，另一个当了训导。据纪晓岚记载，鲍梓听了这个故事后笑道：“平生自薄此官，不料为鬼神所重也。”
鲍梓的文章，最初从苏洵入门，后来又致力于韩愈。既得古人精奥，尤擅八股制艺，文法高妙而不拘泥古则。当时制艺文章正崇尚骈丽华美，鲍梓极力反对，并以此启迪学生，一时间许多学子都慕名前来求教，“翰林纪昀、御史戈涛、进士中书纪昭、举人鲍自清、……诸人皆出其门”。鲍梓在尽心教授学生们作文之余，还不时借讲故事之机教导他们如何做人。
师从何琇、董邦达是纪晓岚随父进京之后的事。何琇，宛平人，雍正十一年(1733)进士，官宗人府主事。他于考据有独到建树，常抨击讲学家的虚谬。纪晓岚刚到京城即师从何琇。
董邦达，字孚存，浙江富阳人，雍正十一年(1733)进士。历任户工吏诸部侍郎、左都御史，工部尚书，礼部尚书。卒后谥文恪。董邦达不仅擅长经史之学，而且是一位山水绘画大师，在盛极一时的清代皇家画院中，他是继王祁原后的一代宗臣。
纪晓岚是十五岁时受学董邦达的。董邦达为官清廉，极重人品，对纪晓岚深有影响。在他这里，纪晓岚不仅增长了学识，而且学到了不少处世做人的道理。纪晓岚从师董邦达长达九年，直至他乡试夺得头名解元。
纪晓岚少时学习，虽受父亲与师长严格督促，但自就学之始，便显示出一种特别的天赋，这就是“性奇慧，为文不假思索……过目不复忘”，“其才思敏捷，尤非人所能及”。和他一起念书的同族兄弟们，没有一个人能比得上他，故大家无不对他另眼看待，称之为“神童”。
纪晓岚少时才思敏捷，尤其善于对对子。为此，献县地方流传下来许多脍炙人口的传说故事。
五岁时，纪晓岚开始接受家庭教师的训导，启蒙先生及孺爱教他念《三字经》。开始几天，每天教他二十多个字，以为这样已经够多。谁知他过目不忘，念几遍即已背熟，不到半个月，便把一本《三字经》背诵如流。小小年纪便开始读《四书》、《五经》，并练习作诗、联对。他对联对有一种特殊的敏感。据说，有一次常在他家行走的慧明和尚，见他头上梳有状如蝉头的髫髫，心血来潮，戏谑地出上联道：“牛头喜得生龙角。”
不料纪晓岚立即明白了其中的含义，他白了老和尚一眼，张口对道：“狗嘴何曾长象牙。”
此语一出，博得哄堂大笑。因为这对句既回答了老和尚的笑谑，又对得十分工整，出自一个五龄小童，确实是身手不凡。
纪晓岚有个亲哥哥名纪晴湖，哥俩虽非一母所生，而且年龄相差悬殊，但自幼兄弟二人感情很好，毫无异母的感觉。
有一天，纪晓岚吃过午饭还不见哥哥回来，就到家塾去找他。找到学校一问，老师说是因为给他出了个对子还没对上，所以没有让他回家。纪晓岚便问是什么对子，老师用手朝门外一指：那里有个苇垛，怕雨淋了上面苫了席子。懒洋洋地说：“看见了吗？就是‘苇子编席席盖苇’。”
纪晓岚正思考，忽见一人正持鞭赶牛从门前走过，他心里一亮，有了主意，就对老师说：“先生，要是我能替哥哥对上，您可以放他走吗？”老师说当然可以。于是纪晓岚高声念道：“牛皮拧鞭鞭打牛。”
老师听后连声称赞：“对得好！对得好！”哥俩于是高高兴兴地回家了。
孙致中等人编着的《纪晓岚文集》记载有这样三则故事：
纪晓岚小的时候，是一个既聪明又顽皮的孩子。因为在家中耳濡目染的多，比别的孩子懂得多，所以他在跟老师念书时很贪玩。当时农村的孩子最喜欢捉鸟玩。纪晓岚也很喜欢养鸟玩，常跟别的孩子一样爬上高地掏雀儿。掏了雀儿，别的孩子可以在家里喂养，而他由于家教很严，喂雀儿不敢让家里人看见，就只好藏在家塾的墙洞里，喂完后用砖堵上。