皇帝李治的病好了，心情也好了，于是又有了心情来过问朝廷要务。此时武皇后再度有了身孕，也没有精力来帮丈夫处理国事，她一心一意地在内宫养身体生孩子去了。当皇帝李治将国家大权重新掌管在自己手中时这才发现，武皇后和宰相们任用的许多官员都不怎么顺他心意，于是李治在没有去征取身怀有孕的武皇后和东台、西台宰相二府的意见后就一连提拔了十多位朝廷官员，其中有司刑太常伯刘祥道、西台侍郎上官仪、太子左中护郝处俊。
当皇帝在金殿上将自己任命官员的圣旨发给东、西二台时，所有的官员都跪在殿前，高呼万岁。可皇帝李治却发现，在那群官员中有一个桀骜不驯者，他竟在殿中站立不动，还用一种怀疑的眼神看着高高在上的皇帝。李治仔细看了看，这位胆子未免太大的人不是别人，原来是武皇后的宠臣中书令李义府。宰相李义府傲慢而又放肆的态度让李治怒不可遏，但李治今番以非往日年少气盛的青涩皇帝了，他对李义府不恭的表现竟没有露半点声色。
中书令李义府是个极度贪财的家伙，他的母亲、妻子、儿子、女婿都依仗中书令府的势力，公然卖官鬻爵。李义府身为中书令，掌管着官员的任免、升迁和调任，故此，李义府是门庭若市，在加上他是武皇后面前的红人，李义府权动朝野，没人敢小视于他。李义府那天居然立而不跪的行为被另一宰相杜正伦看在了眼里记在了心上，第二天一上朝，杜正伦就上疏皇帝提出弹劾中书令李义府，弹劾理由仍然是当年李义府从大理寺监中霸占了一个美妇人，又逼死大理寺臣灭口之事。当年御史王义方就此事弹劾过李义府，但皇帝李治那时对李义府是极力偏袒，反而贬斥了王义方。今日杜正伦旧事重提，李义府竟老羞成怒忘记了还有皇帝高高在上，他当庭驳斥杜正伦，于是这二人就在金殿上争执了起来。皇帝李治见臣子竟然敢当着他的面互相攻忤，不禁大怒，他一拍御案，厉声呵斥道：“放肆！你二人身为朝廷重臣，位居宰相之职，竟然当庭咆哮，成何体统。宰相不和，国家怎地安生？”
李义府与杜正伦见皇帝忽然发火，顿时吓得跪在金阶前请皇帝“息怒并恕罪”。皇帝李治威严地站在王庭之上，严厉地发出口谕道：“李义府、杜正伦身为宰相，竟不顾朝廷威仪，当庭咆哮，有失大唐风范，难以为百官表率。今将二人宰相之职罢黜，贬斥外放。杜正伦为横州刺史，李义府为普州刺史。即刻出京，不得耽误！”
李义府一听皇帝当庭发出圣旨将他二人贬斥出京，惊愕片刻，这才感到自己不把皇帝李治放在眼里的严重后果。此时自己的靠山武皇后在后宫养着身子，指望皇后的庇护是不可能的了，李义府只好灰溜溜地即刻离京往普州上任去了。那宰相杜正伦也没有想到今天会是这样的结局，昨天他看出了皇帝对李义府的不满，原本想为君父分忧，黜斥奸臣，可皇帝却不由分说将他二人各打五十大板，连自己也贬斥出京了。杜正伦心中忧怨不平，不久就病死在了横州任上。
龙朔二年（662），六月，武皇后再次生下了一个儿子。皇帝李治不用说有多开心了，李治将那个红光满面的婴儿抱在怀里，他充满深情地望着刚刚生产了还有点虚弱的武皇后，李治说：“皇后辛苦了。你瞧这孩子，满面生辉的样子，像一轮红日一般。皇后快给这孩子取个响亮的名字来。”
武皇后靠在塌上，她幸福地望着丈夫，叫丈夫把孩子抱来她的面前，她看了又看，心中荡漾着无边的母爱，她轻声地对丈夫说：“皇上不是说他像一轮红日吗，那就叫‘旭轮’吧，怎样？”
“旭轮，好名字！”皇帝李治高声说道，他忽然地高声似乎吓着了这个刚刚被命名为“旭轮”的皇子，旭轮不买账地在爹爹的怀里大哭了起来。李治“哈哈”大笑，直到宫人急忙上前来将孩子抱了过去。后来旭轮更名为李旦。皇帝李治再次得子，他按捺不住内心的激动，一连下旨分封自己的儿子，除李弘为皇太子已经不能复加外，李治再次封次子沛王李贤为“扬州大都督”，封三子周王李显为“并州大都督”，就连尚在襁褓的殷王旭轮也被封为“遥领冀州大都督”。
武皇后因为生产，身体还比较虚弱，就很长时间没有去过问朝廷大事，但皇帝当庭贬斥中书令李义府的事情还是有宫人密报给她知道了。李义府是当年极力拥戴她以昭仪之身登上皇后大位的主要功臣之一，如今冒犯了皇帝被贬斥，武皇后在禁宫养身子不便干预，但武皇后还是经常差人带上礼物去普州看望李义府，对李义府表示慰问和关怀，把个李义府感动得不能自持。一日，李治下朝来到后宫，武皇后见丈夫在开心地逗弄婴孩旭轮，便趁机对皇帝说：“皇上，当年我夫妻被褚遂良等老臣欺负，全靠李义府力排众议支持陛下的主张。今日李义府冒犯了天威，被罚出京城，也是他活该。只是臣妾想，李义府这厮也应该在普州任上有所醒悟，念他一向忠君报国，这样的臣子还真是难得，像李义府这样的人放在普州作刺史到是浪费人才了。如今朝廷正是用人之际，皇上还是消消气将之召回京来复职吧。”
李治见皇后如此说，便下旨将李义府重新召回京城，再度拜为宰相。李义府在武皇后的庇护下，再度入相，他对武皇后是感激涕零，从此在李义府的心中，武皇后才是大唐的真正主人。
李义府官复原职后眼里只有皇后，由于武皇后生产后身子虚弱，几乎不问朝廷政事，但李义府任然将朝堂发生的任何事情，事无巨细地向后宫秘密呈报，在这一点上武皇后很是满意。但李义府依仗自己对皇后有拥戴之功，而皇帝李治又是个事事听从皇后枕边风的人，李义府便越发嚣张，竟然为了改葬自己的祖父，利用中书令的权利下令附近的高陵、栎阳、富平、云间等七个县征集民工为祖父修建墓室。高陵县令是个厚道人，不愿给百姓加重负担，可又得罪不起中书令，只好自己去亲自给李义府的祖父修陵，结果累死在了工地上。李义府的头脑膨胀过甚，在给祖父迁葬那天，浩浩荡荡地送葬队伍足足绵延了七十多里，许多朝廷官员都加入到了祭奠送葬之中，而李义府却乘机收受贿赂，大发横财。这消息传到了皇帝李治的耳朵里，皇帝不高兴了。
李治向来是看在李义府过去他在与长孙集团斗争中始终站在帝后一边，加上皇后袒护，皇帝也就对他宽容，可现在这个李猫越来越不像话了，于是李治便将李义府召进了内廷。君臣礼毕，李治还是语气诚恳地对李义府说道：“朕听说你的儿女有许多行为很是不检点，作了很多有悖礼法和朝廷律令的事情，卿身为中书令，也应该为朝廷做出表率。又有御史上疏弹劾了，朕不能总是替你遮掩吧。你也该回去好好管教一下你的家人。”
没想到李义府一听皇帝这般说辞，一下涨红了脸，他站了起来，竟然问皇帝道：“这些都是谁告诉皇上的？”
李治见李义府竟然这样问，一下火了，厉声道：“你只需告诉朕，这些是不是事实。难道御史给朕上疏，朕还要告诉你中书令吗？”
李义府心中在想，就算皇帝你不告诉我，我去东、西二台一查也能知道是谁在打我的小报告。李义府对李治微笑了一下，皇帝到被李义府的笑容弄糊涂了。还没等李治弄明白这李猫的笑是何意，李义府却峨冠博带、袍袖飘飘地不辞而别了。皇帝李治坐在那里，看见李义府飘然而去的身影，一股阴冷地杀气生在心中。李猫，你竟敢这样藐视朕，你死定了！皇帝知道李义府如此这般地藐视他，是因为在他的身后有一个靠山，这靠山就是武皇后。想到此，李治的心中第一次对自己心爱的妻子武皇后产生出了一丝怨气。
一个人头脑发热就容易膨胀，一膨胀就会目空一切了，目空一切就什么傻事都要去干，李义府就走到了这样的地步。这就叫利令智昏！不过，李义府之所以贪财是有一个荒唐的原因的。
我原本是在长安街上一个打卦算命看相以混口饭吃的阴阳术士，因为偶尔给人蒙对了，就被人传说成了神仙，其实我实话告诉你，我哪是什么神仙呢。是你在站在人生的十字路口徘徊的要紧时候不知道该如何选择脚下的路，你迷失了方向，所以你才来求助于像我这样的“神仙”。我哪知道你该往东还是往西呀？但我也要赚钱养家是不是。于是我做模做样地掐指一算，煞有介事地给你指出一个方向来，并郑重其事地说：“只要你义无反顾地朝着这个方向去奋斗，你就会成功，荣华富贵在前面等着你呢。”于是你依照我的神算目标去了，结果不外乎有二，一成功、二失败。失败了你只会怨天尤人绝不会回来找我倒账。但是假如你成功了，你一定会将成功归就于我的正确指引，于是你会来感激我这个神仙的。也就是如此，我在长安的名声鹊起。我的名气传到了李义府的耳朵了，中书令听说我会望气，便请人抬着八抬大轿将我接进了李府。嘿嘿，我一身道袍，鹤发童颜，手持拂尘，一派仙风道骨的风范让那在长安城中不可一世的中书令李义府在我面前是俯首帖耳。李义府对我毕恭毕敬，口口声声喊着“道长”、“神仙”，李义府要我给他看看他李家的富贵有多久多远。
我在李义府宅第转悠，李义府恭敬地相随。我心里在想，你李义府也算是饱学之士，颇具文才，在太宗时曾受诏与他人共修《晋书》，又3次受诏监修国史，按理对历史上那些风云际会应当了然于胸的，怎么就喜好上了神仙说辞呢。其实我对李义府是相当敬重，他著有《古今诏集》100卷、《李义府集》40卷传于世。李义府自仗才高，曾面对当今圣上还桀骜不驯地吟诵过一首诗，“日里飏朝彩，琴中伴夜啼。上林如许树，不借一枝栖。”该诗公然地藐视皇权，为那些怀才不遇的读书人长长地出了一口气。然而今日李义府贵为中书令，怎么也担忧起自己的未来了呢？利令智昏，不过如此，愿天下为官者谨记之。
李义府给我的礼金甚厚，我这个长安城中的有名望气术士总得给中书令一点建设性的意见吧。于是我端坐李义府的中堂，一本正经地对李义府说道：“中书令的府邸规模宏大，气势轩昂，人臣难匹。但宅第之上却总有一股不祥之气萦绕其间，这气主屋家主人有大狱之祸。”李义府一听我的言辞，脸都吓白了，忙俯身问道：“此祸可改否？”
我闭目默默地点点头。李义府急忙令人奉上黄金一匣呈放在我的面前，李义府竟跪在了我面前，他惶恐又诚恳地说：“有劳神仙救我——”
我轻摆拂尘，微微一笑，将李义府搀扶了起来，待他重新坐定，我轻声言道：“其实要改风水也很简单，就是这府第中必须积财两千万方能压制住那股邪气。”我说完这话后便起身作别，令跟随的道童携了那百两黄金离开李府回到草舍。当晚，我分发黄金遣散了随从，然后只身飘然而去。
自从李义府听信了我的望气之说，更是贪得无厌，他聚敛钱财的手段可谓千奇百怪。当李义府听说长孙无忌的孙子长孙延在岭南流放期满回到了洛阳，他便叫儿子去将长孙延找来，做出一副关切的样子问寒问暖，因为长孙延毕竟与李唐皇室沾亲带故的，长孙延还对这个满面堆笑的中书令心存感激。最后李义府回到了主题，他对长孙延说可以替他在朝廷谋取一个官职，只是需银子七十万。长孙延凑齐了银子给了李义府，李义府还真是给他弄了个从六品的司津监之职。根据唐代官吏制度，五品以下官员的任命不须报告皇帝，就由宰相说了算。但这个长孙延是长孙无忌的后人，长孙无忌当年是被定的谋反重罪，如今后人花钱在中书令李义府处买得官职，李义府平时又飞扬跋扈，同僚是敢怒不敢言，此番正好被宿敌逮而来个正着，于是一份弹劾奏疏便呈报在了皇帝李治的御案上。
李治阅罢弹劾李义府的奏疏，皇帝心想，李义府啊李义府，天堂有路你不走，地狱无门你偏要创。长孙无忌当年就是极力反对武皇后正位中宫之人，皇后对长孙家族是恨之入骨，今天你到好，为了七十万两银子，你竟然将皇后对头的后人也弄进了朝廷。你这不是死定了吗！
皇帝李治等待着医治李义府的机会，这机会说来就来。李治便将御史的弹劾奏疏交由刚刚被他提拔成为司刑太常伯的刘祥道与监察御史们一道审理，同时还诏令司空李勣监审。皇帝李治的这一安排，让殿下的许敬宗都感到内心生怕，许敬宗知道，这是皇帝要置李义府死地了。天作孽犹可活，人作孽就是自取灭亡了啊！
李义府被逮捕下狱的消息马上传到了武皇后那里，武皇后本想念李义府长期以来对自己忠心耿耿，可这次他竟然把官位卖给了长孙无忌的孙子，这不是存心让皇后脸上难堪吗？再加上近一段时间来，皇帝李治都没有与武皇后商议朝廷要务，武皇后一下脱离了朝廷的权力中心，忽然感到了一番失落。武皇后觉得坐在那高高的王殿之上，倾听朝臣们恭敬地向她奏报军国大事，然后由她处置决断，这感觉是多么的美妙啊。可就因为她生产了旭轮，丈夫身体也恢复了健康，大唐王庭这艘战舰的方向舵又被皇帝掌握在了他那双缺乏血色的白皙手中。如今李义府被下狱，连宰相府的奏报也没有了。武皇后登上后宫的高楼，她遥望皇宫，若有所失，也若有所思。
李义府案很快审理终结，御史弹劾的每一条都证据确凿。龙朔三年（663）的夏天对于李义府来说太过炎热，皇帝李治下诏将李义府除名，流放巂州（今四川西昌）。李义府的几个儿子和女婿分别被流放振州（今海南三亚）、庭州（今新疆奇台）。看来皇帝是有意要让李义府一家人天各一方，不能相见，从精神上折磨折磨这个不知天高地厚的李猫。于是长安城中流传出了一则故事，就是李义府请长安城中有名的术士杜元纪到府上望气所说的话，说是李义府还没等聚积起两千万钱财，牢狱之灾就降临了。天道昭昭，怎可欺也。天网恢恢，疏不漏也。如是可闻！
流放了李义府一家，武皇后的心中很是不爽，毕竟当年长孙无忌、褚遂良等臣对她攻击谩骂时是李义府第一个站出来支持她的。可事到如今武皇后又找不出理由来说丈夫处理得不对，于是武皇后只好在后宫生闷气。
李义府去职，李治便任命审理李义府一案有功的刘祥道接替了中书令，原本名不见经传的刘祥道一下成为了朝廷重臣，但同时也因为此在无意间站到了武皇后的对立面上。武皇后失去了李义府，但她还有一个许敬宗。许敬宗身为两朝元老，乃当年秦府十八学士之一，现以知西台知事掌握着皇帝圣旨对外的发布权，并以太子少师的身份监控东宫。许敬宗为人低调，十分珍惜这来之不易的富贵。虽然也是当年极力拥戴武氏为皇后的臣子，但许敬宗却也是李治为太子时的老师，故此他对皇帝亦是忠心不二，他小心翼翼地在皇帝与皇后之间周旋着。
李义府倒台还有一位直接受益者，那就是在百济前线的刘仁轨将军，当年刘仁轨也参与过弹劾李义府，结果被贬斥到了百济参战。刘仁轨用兵有方，曾与倭寇交战与海上，那是中日之间第一次正面交锋的大规模海战，刘仁轨指挥唐军焚烧了倭寇的战舰四百艘取得完胜。李治一高兴就提拔刘仁轨连升六级，封为方州刺史（今朝鲜半岛的开城）镇守海东。如今自己的对头李义府倒台，刘仁轨觉得他大展拳脚的时候到了，当即上疏，发出壮志豪言：必将扫平东夷，颁大唐正朔于海表！百济已定，高丽这块心病还郁结在皇帝李治的心中。
皇帝李治流放了李义府后，朝廷归于平静，李治的感觉很好，心情格外轻松。时值蓬莱宫含元殿建成，皇帝便移驾居之，李治还背着武皇后将皇后的姐姐韩国夫人接进了蓬莱宫中。皇帝李治的身体状况恢复得不错，他的花花肠子又荡漾了开来，皇帝还时不时将韩国夫人的女儿魏国夫人贺兰氏也偷偷召进宫来。皇帝与韩国夫人、魏国夫人就在蓬莱宫中欢度着快乐的时光，到把皇后娘娘凉在了一边。李治就连听政都不离蓬莱宫，将文武大臣召进蓬莱宫在紫宸殿听政。皇帝所作的这一切当然有耳目报告给了武皇后，但武皇后念到姐妹情深，也就自作不知，就是当作丈夫、姐姐、侄女的面都没有流露出一丝一毫的情绪来。