如果一个人想抓你的把柄，就算你做得如何的天衣无缝也是枉然。龙朔三年（公元663年），李义府在居母丧期间，听一个方士说，他的宅第有“狱气”，需要积蓄二十万缗钱才可以除去晦气。李义府信以为真，就抓紧时间收敛钱财。为了能更多更快地收钱，他居然连长孙无忌遗属的主意都打上了！他派儿子李津去找长孙无忌的孙子长孙延（长孙延原本流放岭南，勉强保住的性命，不久前才遇赦回到洛阳），说：“我能为你谋到一个官职，几天后诏书就能下来。”过了五天，果然朝廷就授了长孙延“司津监”的职务，作为回报，长孙延就送钱七百缗。李义府还利用居母丧的机会换上普通百姓的衣服，凌晨与方士偷偷溜到城东，登上古墓观风水、望云气。一个宰相搞这名堂，怎么能瞒得住人？于是有人告发他“窥看灾异，蓄有异图”，也就是想造反，这还得了。
同年四月，大臣杨行颖也将李义府“卖官”的事奏了一本。高宗这时候正坐等机会发泄心头之恨呢？快，快，给我立马拿下，李义府就这样自动撞在枪口上被下了大狱，并派“司刑太常伯”刘祥道与御史、详刑寺官员共同审讯，还命司空李勣监审。高宗知道许敬宗和李义府一样都是皇后的人，这一回就没有派许敬宗上场。从高宗安排的审案人员就可以看出来他真的要狠狠收拾李义府：刘道祥是太宗去年越过宰相而亲手提拔上来的，与李义府不是一窝的；至于李勣，几年前他的故旧、宰相杜正伦就是和李义府争吵，致使罢相死在异乡的，这笔帐李勣先生应该不会忘。
刚刚立案之始，武后本来还想救李义府的，然而高宗决心已定，李义府又劣迹斑斑，民愤极大。武后知道如果再力保他，可能祸延自身，也就撒手不管了。经过高规格的审讯，查明李义府的罪状属实，高宗便于当月下诏，将李义府削除名籍，流放巂州（今四川西昌）。将他的儿子李津也除名，流放振州（今海南境内），其他诸子及女婿一并除名，流放庭州（今广西境内）。李义府恶名久著，现在一倒台，朝野上下弹冠相庆，喜气洋洋。
谁都知道李义府是武后的红人，而且曾有过一次沉而复起的经历，所以有的官员存着观望之心，想为日后留条后路。东台（以前的门下省）侍郎薛元超也想借机拍拍这位皇后宠臣的马屁，那样李义府以后要是回朝了，自己肯定能得到好处。而且这么做也能得到皇后的欢心。于是他向皇帝上奏，提出让流放中的李义府破例骑马，法外施恩。怎知高宗这次是真的动了肝火，当即把薛元超削职流放。
李义府刚被贬斥，三月底，蓬莱宫（大明宫）完全竣工，高宗于二十五日正式移居蓬莱宫，此后就在蓬莱宫的正殿紫庭殿听政。武则天在一定程度上削弱相权的目的达到了，但由于新受打击，此事最大的受益者不是她，而是处处对她有所防范的高宗，还有高宗一心扶持的太子。十月初一，唐高宗更是命令太子每五日一次到光顺门内，视察各部门呈奏事情，事情比较小的都授权太子裁决。当时太子才十三岁，高宗是出于自己身体不行，武后一党又不太安份的考虑，才这样急切地培养太子的能力。
李义府被贬后，宰相位置留下了空缺，高宗有意让办案有功的刘道祥来充任右相（即以前的中书令）的缺。但是刘道祥怕武后因李义府的事而迁怒于他，便屡次上表，请求告老还乡。高宗开始很不解，年纪也不是很大，而且没病没灾的，乞什么骸骨？后来悟出来：这是怕武后报复！明白了这一点之后，高宗反而更坚决地要任命他为右相。这样，不管刘道祥愿意还是不愿意，他都因为审理李义府一案而被绑到了武后的对立面上了。
除了刘道祥之外，因李义府的倒台而获益的还有一位，便是上述在大海里翻船，差点没被李义府整死的刘仁轨。表面上看，刘仁轨是靠着从辽东回朝的刘仁愿的几句美言，官职一口气连升了六级，实授带方州刺史（今朝鲜半岛的开城）得以镇守海东。实际上，他和李义府的敌对关系应该才是高宗看中的。高宗此事需要扶植一些和武后党羽敌对的势力了。
李义府的去职是武后向政坛发展后受到的第一次挫折，原本她朝夕得见天颜，能就近了解和掌控局势，一旦高宗发病，她还可以带行部分君权。以前李义府掌握中书出旨权，许敬宗掌握门下封驳权，旨意便可畅通无阻地顺利发布。现在随着李义府的倒台，缺失了重要一环，可以想象武后沮丧的心情。然而面对这样的不利局面，她性格中的稳和忍占了上风，并没有大吵大闹和高宗硬碰硬，而是采取以退为进的办法，脱离是非圈。这一年她已经41岁，和高宗也算老夫老妻了，她想通过这样的怀柔办法，缓和自己和高宗的关系。留得青山在，不怕没柴烧，只要保住自己的地位就好。
后宫万紫千红怎容一枝独秀，也就在这时候后宫有人与她争宠。不是别人，是武则天的自家人。武则天的姐姐韩国夫人，是个俏丽风流的寡妇，一直和高宗有染，韩国夫人的女儿贺兰氏也有倾国的容颜。韩国夫人经常带着她的女儿出入宫苑，时间一长，高宗就和他的女儿也搞上了。然后不久韩国夫人死了，传言是被武后毒死的。高宗又有了将韩国夫人的女儿正式纳为嫔妃的打算，而且计划是把她直接名列九嫔之一。武后害怕自己会因此失宠而走上王皇后的老路，也采取巫蛊之术，想诅咒死这个外甥女。
这事没想到被人捅到了高宗那里：麟德元年（664年）十二月，宦官王伏胜举报，说武后常召道士郭行真进入宫禁，行“蛊祝”、“厌胜”之术。高宗闻报大怒，天性仁德的他此时也来了蛮劲儿：过份，太过份了，真的需要处理一下这个女人了！于是他密召宰相上官仪进宫，商议一下该如何处理武后。上官仪是由高宗越过宰相们的权力，亲手提拔上来的，他当宰相一年多的时间里，正是高宗打击打击武后党羽的时候，所以很快就独持国政，权势熏天。上官仪为人恃才任势，举止张扬，惹得不少人反感。当时朝中只有老臣许敬宗才能和他抗衡一些，所以他和武后一党免不了产生矛盾。此时一听高宗对武后有意见，就来了精神，说：“皇后专权骄横现在是充分显露出来了，天下人对她的意见很大，我认为有必要废掉她，另立皇后。”高宗闻言心意越发坚定，便令上官仪草诏，准备废后。上官仪运足了文思，把废后诏书一气呵成，开列的罪状有十数条之多。
这那是要废后，这分明是要武则天的命。眼看着武后的凤冠就要摇摇欲坠，眼看着密室密谋就要付诸实施，在这关键时刻，武后的后宫情报网再一次救了她的命。她在高宗身边安排了很多耳目，事情一出，早有左右侍者纷纷急报给她。武后面对突如其来的灭顶之灾，没有惊慌失措，也没有浪费时间犹豫，而是毅然决然立刻来见高宗。这边上官仪刚放下笔，草诏的墨迹还未干，武后就出现在他们面前！所幸此时诏书还只是个草稿，晚来半步，就任凭是谁也无力回天了！
我们可以想象得到。武后的出现太过突然，高宗和上官仪都愣在当场，异常尴尬。估计上官仪见势不妙赶紧溜掉了，高宗面对武后，一时又翻不过脸来。武后当即跪在高宗面前自辩，问自己到底有什么过错，要被废掉。高宗只好说是王伏胜举报云云。武后则辩驳道，王伏胜并不在后宫值勤，何以知晓有厌胜的事？高宗无言以对。随后，武后不卑不亢地陈述了几年来辛苦辅政的事，软中带硬地问，是什么让他不信妻子却信奴才，竟以至于不顾夫妻之情，妄弃无辜？这一问，就把高宗制服，危机总算过去了。这场风波其实非常凶险，武则天之所以能一番言辞就把它化解，是因为她抓住了高宗的性格弱点。如果武后遇到的是另外一种性格的男人，事情可能完全不是这样的结局，就算本来没有下定决心的现在都有可能为了维护帝王尊严而废后，更何况你在后宫的耳目能有这么快的反应，太危险了！但生性柔弱的唐高宗在皇后的涕泣申诉面前，满腔的怒火早已烟消云散，再想想废后之后，随之而来的又是太子之位不保，国本动摇，牵涉实在太大了。于是高宗连忙收起诏书草稿，仍是惊魂未定，还深怕武则天伤心怨恨，就说：“我本来也没有这样的打算，是上官仪坚持说，我才有这想法的。”两人在密谈了很久，高宗连连道歉，待武后亲密如初。两口子终究是两口子，可惜了上官仪！
更为要命的是，高宗为了息武后怒气，出卖了上官仪。出来混要跟对人，不然迟早是要还的。不知道上官仪失魂落魄地走出宫门的时候，是否意识到了厄运正悄然迫临。武后现在既然已经把高宗搞定了，下一步就是报复上官仪。不管上官仪是始作俑者也好，是附和者也罢，都一定要付代价！她指使许敬宗上表，以上官仪、王伏胜曾共事废太子李忠为由，诬陷三人暗中勾结谋逆作乱。李忠的身份太过敏感，上官仪被和他扯到一起，结果肯定是麻烦。这道奏表一上，高宗心里暗自叫苦：这是要折我的臂膀啊！此时，可能是满朝的大臣惧于武后的淫威与毒辣，可能是因为上官仪的这个罪名太大，也可能是因为上官仪的人缘本来也不好，也可能因为上官仪的私党见他不死也得脱层皮，求情后自己免不了受拖累，反正是史书上没有记载有谁站出来说句求情的话。
废后不成反丢了自家姓名，这件事对高宗中期的政治局面产生了很大的影响：高宗的性格圆润有余，武后一耍手腕他就象一团面泥一样可以捏来捏去；关键时刻还出卖了自己最亲信的、也是对自己最忠诚的大臣，致使人家遭受灭族之灾！这样一来，除了极少数能真正一心为国、不顾身家性命的社稷之臣之外，大多数朝臣不敢再支持这个“翻脸比翻书快”的高宗，来和武后斗。那不是拿自己全家男女老少的性命，往那个能力非凡且心毒手辣的武后手里送吗？这就怪不得此后很长时间里大臣们都不再直接向皇帝进谏了。虽然他于这年年底，任命乐彦玮和孙处约这两个相对亲信自己的、非武氏一党密切的大臣为相，也无法挽回这个结果。
而这件事也严重刺激了武则天，她感到有必要把权力抓得更牢一点儿了。而且，这时候她充分利用了唐高宗自觉理亏的心理，提出垂帘听政的要求，以确保自己没有丝毫潜在的危机存在。如果换成另外一个男人，应该不会同意皇后这样的要求，但窝囊的高宗竟然答应了。从此以后，每逢上朝，都是高宗在前，武后垂帘在后，政事无论大小，都由二人共同裁决。这种形式至此正式合法化了！这样就更没有人敢向高宗进言武后的是非了。以后群臣朝谒，万方奏表，都合称高宗、武后为“二圣”，大唐政坛出现了“天有二日”的奇观。
几个月后，即麟德二年二月的时候，唐高宗果然发现自己很孤立，这时候他竟然还能询问群臣：“隋炀帝拒绝忠言而亡国，朕引以为戒，坚持寻求你们的规劝，但你们怎么总也没有人来进谏，是为什么呢？”类似的话，在多年前长孙无忌专权、群臣不敢向他直接进谏的时候，他也问过，今天的情景和当年何其的相似！当时无人敢进谏，现在又到了无人敢进谏的时候了！大臣们心理明镜一样，但谁也不敢开口说话。还是李勣出来打破了这个尴尬，他说：“陛下的所作所为尽善尽美，所以群臣没有什么可以进谏的。”这个已年近八旬、老奸巨猾的家伙，此时已经只想自保了；而且，这个武皇后就是他当初支持拥立的，当时也想不到武后会这么厉害，但现在他还能说什么？而且是他监审搞倒了李义府，武后肯定记恨他，所以今天解除了高宗的“疑惑”，帮武后一把，也算“将功赎罪”。从高宗近几年的表现看，虽然不是一无是处，但能力确实不太强，所以我们有理由认为，早些年那些对付长孙无忌的那些高明招数，很可能都是武氏建议的。
自从武后垂帘听政之后，高宗的所有重要政治活动，就都在武后的直接监视之下了。高宗本来已不大的施政空间，又进一步缩小，武则天的权力宝座则固若金汤。未来把天下变成了一盘棋，完全由她独自来执棋的日子，已经为期不远了。
我们再回头看唐高宗，他也下了一步棋，一步奇臭无比的棋，不是没有坚持废后，而是在关键的时候出卖了上官仪。其实，只要高宗还能把握住朝中局势，此时不废她彼时还可以废，但如果失去了对局势的控制，以后可就没那么主动了。高宗在事发后没有保护上官仪，一是寒了大臣的忠君之心，二是已经不相信他能说了算了。这样一来，大臣们肯定不敢再向皇帝靠拢，皇帝对朝局的控制能力必定大大削弱。
再让我们假设一下历史，如果唐高宗一方面答应不废武氏之后，一方面坚决找借口保住上官仪（这一点他当时是完全有能力做到的），朝中将会是另一种局势，武氏的影响力肯定到不了这么大。另外还有一点值得我们注意，就是武氏的情报网在这次事件中发挥了及其重要的作用。武后迅速得知了上官仪的废后议论，才可能在关键时刻及时阻止住事情的发展。如果没有这及时的信息，武氏得知被废以后，就会回天乏术，成为王皇后第二也未可知。