吴敬梓既不容于乡里宗族，又南京为豪华的六朝故都，山川秀丽，风物宜人，且为昔日燕歌游乐之地，于是，“余乃身辞乡关，奔驰道路……百里驾此艋艇，一日达于白下”，移居于南京。吴敬梓向来豪爽好客，放荡不羁，移家南京淮水亭（河房）后，常与文士朱草衣、李菇、涂长卿、樊圣谟、程廷祚、吴培元、王溯山、严冬友等往返，又喜与伶工歌者接近，此所谓“寄闲情于丝竹，销壮志于风尘”吧！吴敬梓成了文坛盟主。吴敬梓是清末诗人金和的曾外袓父。金和十分了解家族史，他在跋《儒林外史》时说：“（吴敬梓）尝客金陵，为山水所痼，遂移焉。是时家虽中落，犹如宾客，四方文酒之士走金陵者，胥推先生为盟主。”顾云《盏山志·吴敬梓传》亦说：“先世门生故吏，既半天下……顾夷然不以屑意，日帷闭门种菜，偕佣保杂作，人不知故。向者贵公子也。”雍正十三年（1733）安徽巡抚赵国麟闻吴敬梓大名，召试博学鸿词科，但吴敬梓不赴，决然移居金陵。程晋芳《文木先生传》称：“或冬夜苦寒，不得酒食，邀同汪京门、樊圣谟辈四五人，乘月出城南门，绕城堞行数十里，歌咏呼啸，相为应和。逮明，从水西门入城，各大笑去，夜夜如此，谓之‘暖足’。”可见南京城西的清凉山，不仅地势险要，而且景色优美，素为历代帝王、贵胄、名士、僧侣等所垂青，南朝宋武帝刘裕在此曾建离宫，以寓太子，五代时杨吴在此建兴教寺，南唐帝王在此建避暑行宫，北宋以后，筑有一拂祠、崇正书院、扫叶楼、石头清凉禅寺、清凉大道场、清凉广慧禅寺等等，其中，达官富豪、文人学士所建的苑墅楼台就有很多，如有东晋司徒王导慕河内郭文举文才所置的西园文举书台；东晋义熙八年（412）所建的入汉楼。时为南京文坛盟主的吴敬梓，对清凉山情有独钟，经常来此。在《儒林外史》中，吴敬梓直接写清凉山的就有三处。
在第三十三回“杜少卿夫妇游山，迟衡山朋友议礼”中这样写道又过了几日，娘子因初到南京，要到外面去看看景致。杜少卿道，这个使得。当下叫了几乘轿子，约姚奶奶做陪客，两三个家人婆娘都坐了轿子跟着。厨子挑了酒席，借清凉山一个姚园。这姚园是个极大的园子，进去一座篱门。篱门内是鹅卵石砌成的路，一路朱红栏杆，两边绿树掩映。过去三间厅，便上他卖酒的所在，那日把酒桌子都搬了。过厅便是一路山径，上到山顶，便是一个八角亭子。席摆在亭子上。娘子和姚奶奶一班人上了亭子，观看景致。一边是清凉山，局局下下的竹树；一边是灵隐观，绿树丛中，露出红墙来，十分好看。坐了一会，杜少卿也坐轿子来了。轿里带了一只赤金杯子’摆在桌上’斟起酒来’拿在手内’趁着这春光融融’和气习匀’凭在栏杆上’流连痛饮’这日杜少卿大醉了’竟携着娘子的手，出了园门’一手拿着金杯’大笑着’在清凉山岗上走了一里多路。背后三四个妇女嘻嘻笑笑跟着，两边看的人目眩神摇，不敢仰视。杜少卿夫妇两个上了轿子去了，姚奶奶和这几个妇女人采了许多桃花插在轿子上，也跟上去了。”文中的杜少卿其实就是作者自己，他把自己的经历感受融和到杜少卿的身上，那种癫狂淋漓尽致也刻画出作者处在那个时代的病理心态。
在第五十五回“添四客述往思来，弹一曲高山流水”中，吴敬梓又写了王太在清凉山杀夭棋的情景，文中所描写的四位市井奇人王太、荆元、季避年和盖宽都是最受吴敬梓尊敬的人。其中，王太家住三牌楼，袓上以种菜为业，到了父亲手里穷了，只得把菜园地卖了，王太无以为生，每日到清凉山虎踞关一带卖火纸筒过活。有一天正值妙相庵做会，这庵临近乌龙潭，时当初夏，一潭簇新荷叶浮在水面，泛着阵阵清香，庵里路径曲曲折折，有些亭榭点缀在花树之间，倒也觉得幽雅有致。王太随着众人走进庵来，只见几位大老官簇拥着两位道貌岸然的人坐在那边对局。有一个穿宝蓝衫的大老官说：“我们这位马先生，前日在扬州盐台那里下的是一百一十两银子的彩，他前后赢了二千多两银子。”另一个穿玉色的少年道我们这马先生是天下的大国手，只有这卞先生受二子还可以敌得来。”王太凑着身子近前偷看，跟班的见他破衣烂裳的，推他离开，不许他看。坐在下面的主人道：“像你这样的一个人，也懂得围棋·”王太慢悠悠地答称：“略知一二。”看了一会不禁微微笑出声来。那姓马的道：“你既会笑，必定会下，你能下得过我吗？”王太道勉可奉陪。”主人道：“你是何等村野之人，敢同马先生对局？”那姓卞的道他既口出狂言，就叫他出个丑吧，要他知道老爷们下棋，不是他应该多嘴多舌的。”王太很轻松地与马姓下了几着，姓马的觉得王太出手不凡，未可小量。下了半盘，马站起来道：“这棋我输了半子。”众人大惊，硬要拉着王太一道吃酒，王太道：“天下最快意之事莫过于杀夭棋，我今杀了夭棋痛快已极，哪里还顾上吃酒哩！”说毕哈哈大笑，径自去了。
三是荆元琴振清凉山。荆元在三山街开一裁缝铺，在做生意之余，弹琴写字并能作诗，也是个最受吴敬梓尊敬的人，一日饭后无事，荆元独自踱到清凉山来看他的朋友于老者。这于老者率领五个儿子在这里种菜，菜园有二三十亩地的面积，中间有几间茅屋，在隙地上种了许多花草，还堆上几叠假山，几株又高又大的梧桐遮掩着烈日，于老坐在树下，一面品茶，一面观赏满园新绿，心中无限惬意。荆元刚跨进园门，于老一眼瞥见，笑着迎上道：“多日不见，老爹可好？”荆元道：“刚忙过一阵子，今日稍闲，特来看望你老人家。”于老斟了一杯新茶递过去，荆元尝了一口道：“这茶香色味倶佳，不知在哪里取来的好水”于老道：“这里到处都是井泉，有的是甘例的好水。”荆元道：“古人常说桃源避世，我想那里要什么桃源，就像老爹这样清闲自在住在这山林之区，就是活神仙了。”彼此闲活一番，约好次日荆元将琴携来，为于老演奏一曲。次日，荆元抱琴而至，于老焚上一炉好香，沏上一杯清茶。荆元和了琴弦，雄铿锵锵地弹了起来，声振林木，那些鸟雀闻之，都息在枝上窃听，弹了一会，忽变作微音，凄清婉转，于老听到深微之处，不觉凄然泪下。
吴敬梓生活的年代，正是康乾盛世。他在南京生活21年，对南京秦淮河、清凉山等十分熟悉，充满深情，所以他对清凉山及周围的景色，描绘得精彩纷呈，人物勾画栩栩如生。他在第五十五回中所描写的四位市井奇人一王太、荆元、季遐年和盖宽，实际上都是吴敬梓的朋友和熟人，都是吴敬梓尊敬的人。吴敬梓这一回的开头就开宗明义：“话说万历二十三年，那南京的名士都已渐渐消磨尽了。此时虞博士那一辈人，也有老了的，也有死了的，也有四散去了的，也有闭门不问世事的。花坛酒社，都没有那些才俊之人乐文章，也不见那些贤人讲究。论出处，不过得手的就是才能，失意的就是愚拙；论豪侠，不过有余的就是奢华，不足的就见萧索。凭你有李、杜的文章，颜、曾的品行，却是也没有一个人来问你。所以那些大户人家，冠、昏、丧、祭乡绅堂里，坐着几个席头，无非讲的是些升、迁、调、降的官场，就是那贫贱儒生，又不过做的是些揣合逢迎的考校。”哪知市井中间出的几个奇人，则是自食其力、自行其乐、人品清高、灵魂纯洁者，他们较之那些满脑子升官发财、趋炎附势的牛玉圃、赵雪斋、匡超人、辛东之流不知要高尚多少倍。