从长沙小吴门出城，向东走去，一过了苦竹坳，便远远的望见一座高山，直耸云表。山巅上一棵白果树，十二个人牵手包围，还差二尺来宽，不能相接。粗枝密叶，树下可摆二十桌酒席。席上的人，不至有一个被太阳晒着。因为这树的位置，在山巅最高处，所以在五六十里以外的人，都能看见他和伞盖一般，遮蔽了那山顶。那山横跨长沙、湘阴两县，长只六十余里，高倒有三十余里。从湘阴那方面上山，虽远几里路，然山势稍缓，走的不大吃力。从长沙这方面上去，就是巉岩峻削，不是精力极壮的人，绝没有能上去的。长沙、湘阴两县的人，都呼那山为隐居山。故老相传，说那山在清初很有几个明朝遗老隐居在里面，遂称为隐居山。
这隐居山底下，有一个姓柳名大成的，原是个读书人。只因读过了四十多岁，尚不曾捞得一个秀才，家里又有不少的祖遗产业，父母都亡故了，便懒得再去那矮屋里受罪。他夫人陈氏，容貌既端庄，性情又贤淑。因此伉俪极为相得，中年才得一子，就取名一个迟字。
那柳迟生长到四岁，无日不在病中，好几次已是死过去了。柳大成延医配药，陈夫人拜佛求神，好容易才保留了这条小命。然性命虽保留了，直病得枯瘦如柴，五岁还不能单独行走。加以柳迟的相貌生得十二分丑怪，两眉浓厚如扫帚，眉心相接，望去竟像个一字。两眼深陷，睫毛上下相交。每早起床的时候，被眼中排泄出来的污垢胶着了，睁不开来。非经陈夫人亲手蘸水替他洗涤干净，无论到甚么时候，也不能开眼见人。两颧比常人特别的高，颧骨从两眼角，插上太阳穴。口大唇薄，张开和鳜鱼相似。脸色黄中透青。他又欢喜号哭，哭时张开那鳜鱼般的嘴，谁也见着害怕。柳大成夫妇，有时带着他去亲戚朋友家，人家全不相信这般一对漂亮的夫妇，会生出这们奇丑的儿子。只是柳大成夫妇因中年才生这个儿子，自后并不曾生育，夫妇两个疼爱柳迟的心，并不因他生得奇丑减少毫发。
柳迟到了七岁，柳大成便拿了一本《论语》，亲教柳迟读书。柳大成夫妇的意思，多久就虑及儿子不能读书，不过打算略试一试。若真是不能读，便不枉费心血。谁知只教一遍，即能背诵出来。柳大成逐页的教，柳迟竟能逐页的背。并且教过一遍的，隔了十天半月问他，仍然背的一字不差。这才把柳大成夫妇，欢喜得不知如何才好。但是柳迟虽有过目成诵的天才，却是极不愿意读书。不愿意读书，本是小孩子的通病，只是普通不愿意读书的小孩，必是贪着玩耍。那怕玩耍的极无意识，集合无数小孩，三个成群，四个结党，闹得个乌烟瘴气。这类顽皮生活，总是寻常小孩免不了要经过的阶段。
这柳迟很是作怪，他从来不曾和左邻右舍的小孩在一块儿闹过一次，也不学那些小孩玩耍的举动。他不读书的时候，不是坐在位上，抬起头呆呆的望着楼板；便是站在丹墀里，发了呆似的，望着半空中飞走的乌云、白云。有时数墙上的砖，有时数屋上的瓦。见人家厅堂上悬了屏条，屏条上写的是大字便罢，若是小字，他必得从头至尾，数个清楚，柳大成夫妇也禁止他不了。
这们过了两年，他却练成了一种极奇特的本领：凡是多数在一块儿的物件，一落他的眼，即能说出一个数目来，不多不少。他的性质，虽不欢喜和小孩做一块，只是六七十岁的老头子，他倒欢喜去亲近。那地方上年老的人，也都喜和他东扯西拉的说故事。
是这们和许多老头儿混了一年，柳迟的性情又改变了。见了寻常混做一块的老头儿，他都不大答理了，却看上了一班叫化子。凡是来他家讨钱、讨饭的乞丐，他在里第一回装乞丐童子寻师起宝塔深山遇侠面一听得这声音，便和甚么最亲爱的人到了一般，来不及的跑出来。给了钱，又给饭，又给衣服，还得问那叫化的姓名、住址。有时高兴，约齐了无数的叫化，男的、女的、老的、少的，聚做一块儿。他自己也装成一个叫化模样，或在桥洞底下，或在破庙里面，大家说也有，笑也有。若是天色晚了，便不归家，拣一个和自己说得来的叫化，在一条稿荐里面睡觉。柳大成夫妇虽痛爱儿子，但见儿子这般不长进，也实在有些气忿不过。将柳迟叫到跟前，训饬了好几次。无奈柳迟听了，只当耳边风。一转眼，又是右手拿棍，左手提篮，跟着老叫化走了。
湖南的叫化，内部很有些组织，阶级分的极严。不是在内部混过的人，绝看不出这叫化的阶级来。他们显然的表示，就在背上驮着的讨米袋。最高的阶级，可有九个袋。以下低一级、减一个袋。柳迟和许多叫化混了三年，背上已有驮七个袋的资格了。一日，他讨了一袋米，走一个村庄经过。见晒稻子的场里，有十来只鸡，在青草里寻虫蚁吃。其中有一只老母鸡，大约有四五斤重。柳迟从袋中掏出一抓米来，把老母鸡引到跟前。顺手抢着鸡项脖，左手往鸡肚皮下一托，那只老母鸡，就到了柳迟的手。只翼膀略扑了两扑，连叫都没叫出一声。他们同伴偷鸡的手法，都是如此。最难偷的，是大雄鸡。雄鸡会跳跃，不肯伏在地下不动。老母鸡的性质，见人向他伸手，十九伏在地下。不过去攫的时候，总得叫一两声。所以下手就得抢着鸡项脖，使他叫不出声。左手托着鸡肚皮，鸡自然不会叫了。