吕雉在楚寨已度过了差不多三年的时光，她回到汉营的时候，已是汉王四年的八月，也就是公元前203年。
项羽释放太公夫妇和吕雉的原因，是因为楚汉战争的格局发生了变化，虽然项羽在正面战场上还仍然占着上风，但彭越在后方攻取梁地，截断了楚军的粮道，齐国的田横率兵相助，彭越的力量一下子壮大了不少。
韩信在正面战场上连奏凯歌，占领齐地之后，击破了楚将龙且的二十万大军，使项楚有生力量受到了重创，况且楚军的军粮供应问题越来越突出，军心涣散，很难再坚持下去了。
于是项羽在拒绝了刘邦派出的第一个议和的特使陆贾之后，终于接受了第二个特使——山阳说客侯成开出的议和条件，正式签署了楚汉罢战的“鸿沟和约”。
按照这个和约的规定，以南北走向的鸿沟为界中分天下，西为汉，东为楚。项羽下令放还吕雉、太公、刘肥等被项羽羁押的人质，并令钟离昧退出坚守的荥阳归还给刘邦，自己带领楚军东归彭城去了。
吕雉离开楚营，回到了丈夫的身边。几年不见，刘邦憔悴苍老了许多，在多年的征战当中，刘邦多次受重伤，夫妻劫后相逢本来是一件喜事，但是吕雉很快发现了自己尴尬的处境。
原来，在自己身为人质的日子里，刘邦身边有了很多美女相伴——除了魏王府中的薄夫人、赵子儿、管夫人、唐山夫人之外，还有一个新宠，她就是戚夫人。刘邦对这个戚夫人宠爱有加，就连接见大臣的时候，也要抱着戚氏。可是，按照传统的规矩，不管刘邦身边有多少美人，吕雉到底还是刘邦的正妻，后宫的当家人当然还是吕雉。
当刘邦让他的几个姬妾来拜见吕雉的时候，吕雉就发现在这几个女人当中要数戚姬最不给她面子——这个来自定陶的小美人，不过十八九岁的样子，正是得宠的兴头上，见了吕雉，只是礼节性地施礼。
为了显示自己的特殊地位，戚姬竟然当着吕雉和其他几个女人的面，把手臂搭在刘邦的肩膀上撒娇，吕雉的内心正在经历着地狱一样的煎熬，但是，表面上仍然是面带微笑地看着这个比自己年轻许多的女人跟自己的丈夫撒娇。
这时候，戚夫人已经生了一个儿子，这个孩子长得聪明伶俐，刘邦十分喜欢他，给他起名为“如意”。
吕雉的心中有一种不祥预感，将来，她跟戚氏之间，必然会有一场恶斗，不是你死就是我亡。