他和正经学府合不来；和学究们不好相处，那是可信的。离开以后或许是没有再谋差使，或许是没有门路谋，他去了乡下，到西山旗地过起贫寒日子来了。
好友敦诚也当差使出了远门，想念曹雪芹，写诗说曹是魏武曹操的后代，如今落魄在蓬蒿满目的山村。当年江南的繁华梦早已消失，富贵如浮云，不再有幻想。安心像司马相如开小酒店那样，穿起土布短衣，虽说贫贱，却是自食其力。
曹雪芹初到香山，照旗营规定，每月可以领到“月例银”四两，每季度可领一石七斗米。他住三间草房，和原配夫人一起，还生育了一个男孩。旗营发放的钱粮，实不够生活，他又不会农活，又散漫不理会家计，生活可想而知十分困难。
曹雪芹住在几间茅草屋里。家里除了盆盆罐罐就只有一张破旧的绳床、一条板凳和一张桌子了。门前不远处是一片树林，一条杂草丛生、弯弯曲曲的小路通向村外，一切都显得那么寂寞、凄凉。只有院子里的几棵嫩竹、几株鲜花，给这里增添了几分生气。
没有经济来源，全家人常常靠喝粥充饥。曹雪芹偏偏又爱喝酒。有一回，他在小酒店喝完了酒，才发现身上连一文钱也没有了，只好对店主人说：
“我给你画张画吧，卖画的钱就顶我欠你的酒钱。”
店主人还不知道曹雪芹的画好，有些半信半疑地接过画，等到托人把画卖了，价钱果然不错。以后曹雪芹就常常以画换酒了。
贫困的生活没有压倒曹雪芹，反倒使他在这里尝到了身处恬静、自然的田园的乐趣。每天清晨，他都要来到树林里，舞上一会宝剑。
这样的时候，若是遇见意气相投的朋友，就会一见如故，或相见恨晚。他远离市井，疏远了富亲贵戚，冷淡了热衷科场的人物，那“五日京兆”，宦海浮沉，更是眼不见为净。他是“离群”，但不“索居”；他有“幻灭”，但仍有“追求”；他家徒四壁，但胸有块垒；他落荒，但不出世。如果不是这样，怎么可能完成这么一部光芒四射的大书！
有一位村塾）教师张宜泉，是内务府汉军镶黄旗人，祖先也曾以战功授勋，有过富丽的宅第庭园。13岁亡父，受哥嫂虐待，家道也日益败落。他离家混日子，流落到西山旗营，在山乡私塾里，教几个孩子糊口。喜欢饮酒做诗，诗集的序言中说：“家门不幸，书剑飘零，30年来，百无一就。”
张宜泉与曹雪芹结识以后，有时曹雪芹去看他，他就“破灶添新火，春灯结细花”，放怀纵谈，也就是如今说的“侃大山”或“砍大山”，直“砍”到明月西斜，天边露白，兴奋得不能够睡觉。有时张宜泉来访曹雪芹，也离不了诗、酒、琴和相对相“砍”。都“砍”些什么？从张宜泉留下的诗集中，可以看见这位塾师的傲骨、愤世、壮怀，还有诙谐和放达，性格上两人也有相似。
还有的诗里，隐约露出对政治的讥讽，照当时“文字狱”的做法，若被摘录揭发，可够杀身灭族的了。
乾隆二十六年（1761）初秋，曹雪芹长久没有进城了，敦敏敦诚兄弟想念起来，一同下乡来看望，走曲折小径，见门前杂草荒凉，茅屋破败萧条，不胜感慨，两人都写了诗。
从这些诗里，可以看见住处荒僻，生活更加困苦了，全家喝稀粥，卖画付酒账。来了人还热情赊酒留客，喝多了酒还似阮籍那样翻白眼，藐视世态炎凉。
曹雪芹在西山穷居写书中间，还和瘸腿的于叔度、病目的白媪等人交往，还为残疾人尽心尽力做过好事。
这时，曹雪芹也困难长久了。就是给他几个钱，这么一大家子，也起不了多少作用。总要想个什么顶用的办法才好。这时，他听说，公子哥儿买个风筝，“一掷数十金”，够他们家吃用几个月了。
恰巧曹雪芹爱玩风筝，不时自扎自玩，日久，玩出行道来了。身边有现成的竹纸，说着就动手，连扎带糊又画了几个，交给朋友拿去，说不定能混两天日子。
不想除夕那天，朋友顶着雪花，牵着驴来了，驴背上驮着鸭、酒、菜、果，欢欢喜喜告诉曹雪芹，那几个风筝，竟卖了个好价钱，可以过一个肥年了。
3.著书与辞世
在西山的大部分时间，曹雪芹回到家里，便在破旧的书桌上铺开纸笔，开始凝神写作。每当这时候，那些消逝的岁月和许许多多熟悉的人物都一齐浮现在他的脑海里，催促着他不停地写下去。曹雪芹常常忘记了是在写书，而把自己同书中人物的命运紧紧地联系在一起了。写到动情的地方，他甚至激动得伏案大哭。他经常把纸笔掖加在腰间，不管走到哪里，只要看到或想到可以写进书里的情节，就马上掏出纸笔写起来。
有一回，他正陪—个朋友在酒馆里喝酒聊天。说着说着，他忽然打住了话头儿，眼也发直了。
“您怎么啦？是病了吗？”朋友奇怪地问。
曹雪芹不回答，猛地站起身来，拔腿就往家走。有几个人见曹雪芹这副模样，都很好奇，就跟着去看。等到了曹家，见他正坐在桌子旁边写书呢！
曹雪芹的这些举动，常常使那些不知底细的人，以为他疯疯癫癫，而那些了解他的人，却非常佩服他。
大约在曹雪芹三十八岁的时候，《红楼梦》的初稿终于写完了，大约有一百一十回，一百多万字。只是曹雪芹想尽快把初稿写出来，有很多地方没有来得及细细推敲。初稿完成以后，曹雪芹就开始对书稿进行精心的修改。
谁知书还没有改好，不幸的事却接连发生。先是曹雪芹的妻子在贫病中死去。不久，一个朋友把借去的《红楼梦》八十回以后的书稿给弄丢了。这些书稿，是曹雪芹在极为艰苦的条件下，呕心沥血写出来的，现在要重新补写，该是多么艰难的事啊！
长期贫困的生活，心情的郁闷，写作的劳累，使曹雪芹看上去就像一个虚弱的老人。虽然为了早日写完书稿，他每日里仍在拼命地写，可力不从心，写作速度进展得很慢。就在这一年，更为致命的打击又降临了。
那年夏天，北京郊区一带流行痘疹（又叫“天花”，一种急性传染病。现在这种病已经被消灭）。很多孩子都病死了。曹雪芹生怕他的儿子染上病，整日里提心吊胆。可孩子还是被传染了。曹雪芹没钱给孩子抓药治病，只能眼睁睁地看着他的病情一天天加重。到了秋天，儿子死了。
这个孩子是曹雪芹惟
一的亲骨肉，也是他的欢乐和希望。如今，儿子死了，曹雪芹的灵魂也好像跟着儿子去了。他常常呆呆地站在儿子的坟前，嘴里不住地说着：
“苍天啊！你对我已经如此不公了，为什么还要让我再尝到晚年丧子的悲哀啊！”
曹雪芹为了排遣心中的哀痛，就拼命地喝酒，身体也越来越坏了。这时候，只有敦敏和敦诚兄弟经常来看他，安慰他。
深秋的一天，曹雪芹来到城里去看望敦敏和敦诚。他们喝了很多酒，话也越说越多。曹雪芹想到自己早年繁华，晚年零落的坎坷遭遇，想到这个社会的不公和黑暗，一时抑制不住心中的激愤，就走到书案前，拿起了画笔。他稍稍沉思了片刻，就在纸上画了起来。他手中的画笔，时而屈折弯转，时而奋力直下，一会儿，一块傲然挺立的巨石跃然纸上。
敦敏看着画上的石头，不禁脱口赞道：
“雪芹兄，你自己正是这块大石头啊！”
说罢，他立即提起笔，在画旁写下了四句诗：
傲骨知君世已有，磷峋更见此支离。
醉余奋扫如椽笔，写出胸中块垒时。
这首诗生动地表现了曹雪芹傲岸、狂放的性格和抑郁、愤懑的心情。
他喝酒喝得更厉害了，心里又不痛快，不久自己也病了。到了快过年的时候，他的病越来越重，朋友去看他，劝他好好养病，他说：“我该骂的也骂了，该说的也说了，我这病是治不了啦，怕过不了初一。我那部书请你给我传出去！”到除夕那天他就死了。这是1763年的冬天。
儿子死在中秋节，他死在除夕。民间的说法是：占了两个“绝日”。
除夕死人，倍加凄惨。不过只有传说中说出点情景。
“……他一死，他的续妻只管哭，一点没办法。大过年的，谁没有个事儿，幸亏同院的街坊老太太来帮些忙。老太太对曹雪芹续妻说：他活着的时候对你那么好，他死了你连个纸钱都不给他烧？就找把剪子拿起桌上整叠的字纸剪了许多纸钱给烧了。”
“……初一那天有人给曹雪芹的朋友们报丧，丧事都是敦家哥俩和别的朋友给他们办的。停灵了4天或是7天，乾隆二十九年正月初几就出殡了，葬在他原先住的正白旗本旗的义地地藏沟……香山地藏沟是给穷的、孤寡没有后人者用的义地。送葬回来后，有人看到沿路的纸钱，一面有字，拾起来一看，是《红楼梦》的底稿。就连忙沿路捡，捡起一大堆纸钱，包了一包。回到曹雪芹家—看，原来是《红楼梦》后40回的稿子。又在桌屉里发现包好了的前80回的原稿和120回的目录。”
曹雪芹死后，敦敏敦诚张宜泉几位好友，还有当时读到传抄本，深为感动佩服的读者，都有诗悼贪怀念。不过最沉痛的，还是脂砚斋在《石头记》重评本第一回上加了一条评话说：
“能解者方有辛酸之日，哭成此书。壬午除夕，书未成，芹为泪尽而逝。余尝哭芹，泪亦待尽。”