秦庄襄王元年（前249年），公子异人继承王位，成为秦国新任国君，把异人推上王位宝座的吕不韦和华阳夫人成了最大的功臣，依附者如过江之鲫。异人对于这两个为自己继承王位立下汗马功劳的人也给予了丰厚的赏赐，在朝堂之上当即封华阳夫人为太后，封吕不韦为文信侯，并将河南洛阳十万户作为吕不韦的食邑。吕不韦当下叩头答谢，但是心中却全然没有欣喜。
回到吕府，吕不韦将异人封赏之事说与父亲听。父亲也叹了口气，想当初，异人曾向吕不韦许下诺言，若吕不韦能帮他重返秦宫并助他登上王位，他就把秦国的半壁江山分给吕不韦，但是现在却只是封他做了文信侯，真是太让人失望了。但是转念一想，其实早在决定帮助异人之前，他们就已经想到异人可能会不遵从诺言，当初为政秦国的不是他异人，他当然可以轻易许下诺言，现如今他自己正式登上了王位，做了王，当然不会容许别人把秦国的疆土分去一半。
但是最让吕不韦想不开的是，自己居然连个相位都没有捞到！这才是让他最为生气的！只是做一个侯爵又有何用，将来不能把持朝政，不能帮助孩儿赵政登上秦王宝座，他所做的这一切又有何意义，吕氏父子越想越是气恼。没错，现在他们的身份地位空前提升，不需要再辛辛苦苦做生意便能丰衣足食，但是事实距他们所想的实在是差得太远了。而且现如今赵姬与赵政还在赵国生死不知，谋求嬴氏江山又岂是容易之事？
就在此时，守卫突然来报，原来秦王已经来到了吕府大门之外。吕不韦听了心中立刻生出疑惑，自己刚刚从朝堂回来，怎么异人就过来了呢？但是时间已经容不得他多想，辞别了父亲，吕不韦即刻出门迎接。秦王异人入得吕府，吕不韦连忙叩头行礼，请异人上座。异人立刻将吕不韦扶起，道：“异人能有今日，全仗先生帮助，今日府中并无他人，先生何必如此拘礼呢？你我就如当年在丛台馆舍一般如何？”吕不韦连道不敢，竖立在侧。
异人请他坐下，吕不韦便退后席地而坐，向异人道：“王上初下朝堂即来寒舍，不知所为何事？”异人叹了口气，说道：“既然先生有此一问，那我也就有话直说。以先生的雄才伟略，秦国的丞相之位恐怕只有先生才能胜任，异人一直也想任命先生为丞相，奈何蔡泽是先王任命的丞相，如今他没有做下任何错事就罢免了他的职位，实在是于理不合，希望先生能耐心等待，待时日一到，我便去其职，而任先生！”吕不韦听了行礼道：“多谢王上，微臣并无此念。王上如今已贵为一国之主，欲立何人但凭己愿，又何须向微臣说明呢？”口气不软不硬，异人也是聪明之人，当下便明白了吕不韦的意思：既然你想立我吕不韦为丞相，那就但立无妨，身为一国之君，又何须看别人的脸色行事呢？
异人明白了吕不韦的心意，心里便决意要罢去蔡泽的丞相之位，不过他又不想直接罢了蔡泽而立吕不韦以落人口舌，所以最好的办法就是让蔡泽自动请辞。
想让一个朝臣自动请辞，方法可以有很多种，异人所用，乃流言耳。在其离开吕府返回秦宫之后，一股流言就在咸阳城传扬开来，说王上格外重视吕不韦，想要立他为相，奈何现任丞相蔡泽一直霸着相位不肯辞让，不然吕不韦早就顺理成章成了丞相了。蔡泽听得此流言，立刻惊出一身冷汗，原来自己挡了吕不韦的路！怪不得最近秦王也不怎么愿意同自己谈论国事，反倒经常前往吕府向吕不韦请教。加上自己当初是反对异人即位为王的，如今秦王恼恨他也在情理之中。蔡泽觉得自己现在的处境恍若累卵，挡了吕不韦的道，也不为当今王上所喜，这个丞相再做下去迟早要被吕不韦和异人害死，于是便寻了个机会，以身患恶疾之名向秦王异人请辞丞相之位。异人假意挽留了一番，便准了他的请求，任命吕不韦继任丞相之位。吕不韦这时方才觉得心中的郁闷之气少了一些。
异人自结识吕不韦以来，凡事都听从吕不韦的建议，在吕不韦的指点之下才有了今天的位置，所以他对吕不韦的能力还是颇为信任的。但是也正是因为知道他有能力，所以他也担心有朝一日吕不韦功高震主，把握了权势，所以对他是既重用又提防，君臣二人暂时合作愉快。但是吕不韦知道，现如今自己已经不能控制异人了，而且随着异人即位时间愈久，自己就会愈不受重视，所以为今之计就是赶快把赵姬母子从赵国接回来，待赵政成了太子，那么自己就可以安枕无忧了！于是丞相吕不韦很快便再次将寻回赵姬和赵政的话题摆上了台面。
但是当吕不韦向异人提出接回赵姬母子的时候，异人却并没有表现出任何的热情，此时他与赵姬分开数年，几乎忘却了她的模样，再加上登上王位之后，身边最不缺少的就是美女，那他为何还要花大力气去与赵国斡旋接赵姬回来呢？但是若说不接赵姬回来一定会遭到吕不韦的指责，于是他便安慰吕不韦，此刻秦赵两国不和，贸然前去迎接赵姬母子只会让矛盾冲突爆发出来，所以还是待秦国举兵灭了赵国之后，再迎回赵姬母子。
吕不韦听了异人的话，顿时气不打一处来，他真想冲过去打异人几个耳光，然后指着他的鼻子骂他抛弃妻子，忘本失信，但是如今已经不同往日，一个是君一个是臣，他不能落人于口舌，所以最终还是按捺住心头的怒火，对异人说道：“赵国在长平之战中败于秦国，如今已元气大伤，只要大王向赵国人施压，赵国必然不敢不从！”异人懒得再同吕不韦争辩，既然吕不韦已经想到了怎么去做，那就交给他去做好了。于是异人便说道：“丞相所言甚是，那就一切有劳了！”
吕不韦回到府中，忍不住怒从心生，这数年来，他不断向异人说起接赵姬母子回国之事，但是异人一直都是这样顺其自然的态度，看来想要接赵姬赵政回秦，是决计不能再依靠异人了。