曹家再次被抄后，雪芹转入了一个十分困难的流浪时期。正如他所说“富贵不知乐业，贫穷难耐凄凉”。穷，是一种罪过。但这并不是他所愿意的。他本是八旗子弟公子哥儿出身，处处都要人服侍，依赖“天恩祖德”过日子的人，根本不懂得如何生计，也不明白经营的门路，他说《红楼梦》里的贾宝玉“天下无能第一”，实际上就是他的自嘲而已。在那段辗转流浪的日子里，世态炎凉、人情冷暖，他已经尝遍了。
传说，曹家经历再次抄家之后，曹雪芹很快陷入了缺衣少食、举目无告的困境。在极端的困窘折磨着他的时候，他唯一的办法，还是去投亲靠友，只有这样他才能活下去，然而这对他来说，显然是一种精神折磨，因为他原本是多么清高的一个人！他想到了他的大表兄平郡王福彭以及往日里疼怜他的姑母。对平郡王来说，本来平郡王府里多个把吃闲饭的穷亲戚，原本算不得一回事。对曹雪芹来说，那些下人们的难堪之言和白眼亦不算什么。可不幸的是，平郡王福彭只活到乾隆十三年（1748）便逝世了。此时的曹雪芹才年满二十五岁而已。他本以为这可以托身寄命的所在，就这样随着王爷的离开而结束了。福彭一死，平郡王府中的情况随之出现了变化，姑母不再有当家做主的权利，支撑他的大山已经倒塌了。雪芹看这个地方实在不能再住，只得离别姑母，不情愿地去到了他的岳父家里。
可是哪个岳父愿意养活一个落魄的女婿？可以预见的是，他在岳父家的经历并不愉快。也许就有些像《红楼梦》中甄士隐的岳父封肃那样：“今见女婿这等狼狈而来，心中便有些不乐……士隐乃读书之人，不惯生理稼穑等事……肃每见面时，便说些现成话；且人前人后，又怨他们不善过活，只一味好吃懒做等语。士隐知投人不着，中未免悔恨……”心性清高的曹雪芹没多久就和岳丈家断绝了往来。他想，天下之大，难道还没有我的容身之所吗？
曹雪芹年少时候曾去过京城郊的一个地方，那里有一座古庙，人称卧佛寺。这座庙当时给小雪芹留下很深刻的印象。他记得殿内有一尊极大的木雕如来佛，头朝西，闭目枕肱。身上披着工艺精美的绣衣袈裟。在佛的四周，站立着十八位大弟子的塑像，都面带悲伤之状。他一问，才得知原来这是如来佛卧病，将要“涅槃”，众弟子纷纷悲悼的情景。少年雪芹当时便心中感触不已，原来佛也不是永生的，也要离去。后来他再去游那座庙时，发现寺庙已经完全冷落了。不知那庙里现今如何了？雪芹主意打定，去那里看看，或者那里可以住人也未可知。他将细软收拾一番之后，便一路来到了那破败的寺庙里。幸而，庙内除了有一点漏雨之外，其他方面貌似还能住人。雪芹略一打扫之后，便在那里暂时住下了。住处勉强算是有了，可三餐呢？他想到了以卖画为生，不错，这的确是个暂时可以糊口的办法。于是，他喝了点小酒，开始画的石头突兀奇峭，也画山水，胸中怨气、志气皆化入水墨之中，使他的画比别人的画更带有许多灵气。等到卖了画，有钱的时候，他就打酒喝，没钱的时候，他就喝米粥。夜里月下，孤灯旁，他想起从前的光景，再看现下，一股凄凉之意油然而起。真是“富贵不知乐业，贫穷难耐凄凉啊”！
富察家的额府明府的主人明亮附庸风雅，通文墨，能作小诗句，还能画几笔墨竹。有一天，他听说曹家的曹雪芹学识渊博，便差人去请他到自己府上来做西宾。所谓西宾也就是师爷的意思。此时的曹雪芹因为生活的搓磨，已经“头广，脑袋大，色黑”，大概又贫又困，无衣无食，受风霜饥饿所致。一开始，明府的人都觉得他很善谈，会讲令人发笑的故事，高兴起来能讲一整天。在任西宾的日子里，由于生活变得稳定起来，他开始认真撰写思谋已久的《石头记》。不光写，他还说给别人听，这就使得很多人都知道，明府的师爷在写一本小说。他的小说里写的名王府第，都是实有的，只是掩换了名称。不少人爱看他的书稿，及至看不到下文时，就来催促他快些接写下去。雪芹每当此时，就对催书的人说：“你给我弄来南酒、烧鸭，我吃饱喝足，就给你续写下一回！”可惜的是，这样的小说，在他的主人明亮的眼里，简直就是下流之作，因为已经有人告曹雪芹是个“有文无行”的人，而曹雪芹放诞不拘的性格他早已不满，果然没过多久，雪芹就被辞退了。
被相府辞退了的雪芹，声名大坏，如此一来，别的人家大抵是不敢再请他了。雪芹在北京城内已无立足容身之地。在《红楼梦》中，刘姥姥到荣国府去攀亲求助，这位贫苦老妇人得到了她所不敢想象的厚待。在这回书的前后，各有诗句：
“朝叩富儿门，富儿犹未足。虽无千金酬，嗟彼胜骨肉！”
“得意浓时易接济，受恩深处胜亲朋。”
无疑，这些诗句或直接或间接地反映了曹雪芹在“炎凉世态”中的切身体会。
据红学家考证，曹雪芹在那段辗转流离的岁月中，曾住过什刹后海南岸、大翔凤胡同北口的一个叫“水窝子”地方，据一位经历过的老人讲，那处地方在恭王府（原范围很大）北边的三间小房，那是仆人们每日早起聚集听分配差使的地方，曹雪芹就在那里住过，因为那里有一口水井，是旧时卖水的据点，故又称“水窝子”。艺术家齐白石曾到此寻访，绘了一幅画，并题以诗句：“风枝露叶向疏栏，梦断红楼月半残；举火称奇居冷巷，寺门萧瑟短檠寒。”曹雪芹在北京西城的流浪播迁生活，有位老人传说，他在极端贫困的时候，还在恭王府的马棚里住过，有的传说他曾住过西城旧刑部街，有的说他在郊西开过小酒店……。
无论这些传说的可靠性如何，它们都反映出曹雪芹在被迫离开自己的家园以后，在一个时期内，流落于城内外各处，为了生活，不安厥居，屡经播迁的生活状态。而这些潦倒的状态，是大略符合曹雪芹当时的生活条件情况的。作为一个大文学艺术家，只有经历了世间种种，才会使他视野空前地开阔，头脑无比地清晰，把狭隘的牢骚感慨逐渐转变成为对整个社会的不满和愤怒。他的叛逆性格和思想在这一生活阶段获得前所未有的发展和成长，对于他的《红楼梦》的创作无比重要。
“无故寻愁觅恨，有时似傻如狂”，“潦倒不通世务，愚顽怕读文章”，“富贵不知乐业，贫穷难耐凄凉”，“天下无能第一，古今不肖无双”。他的叛逆思想，在《红楼梦》一开头其实早已经说得明白了。