秦桧破坏了北伐战争还不满足，还要进一步瓦解南宋的武装力量。他抓住宋高宗担心武将兵权压主的心理，建议削夺在外大帅的兵权。他认为张俊可以被自己利用，便与张俊串通一气，一唱一和，演出一场削除韩、岳兵权的闹剧。他向宋高宗进言：“现在各路军马只知有将军，不知有皇上，韩家军、岳家军的名称就是证明，如不及早采取措施，恐怕会有祸患。”在征得高宗的同意后，他以三省枢密院的名义召韩世忠、张俊、岳飞到临安朝见皇上。
害怕大将久握重兵，难以约制，这是高宗等人始终引以为患的。将大将的兵权罢免，高宗已经谋划三年多了，但因为战事频繁，高宗一直未能如愿。
尽管宋金战争并没有结束，但高宗通过各种途径，知道金军有议和的意图，于是就开始着手这件事情。
一天，高宗一面在西湖设宴款待岳飞、韩世忠和张俊三名大帅，一面连夜起草制词，任韩世忠和张俊为枢密使，岳飞为枢密副使，明升暗降，留朝任职。
宋朝历史上的第二次“杯酒释兵权”又发生了。
岳飞早已经提出过辞呈，但是，他没有料到朝廷竟然会采取这样的措施，于是，他请求朝廷将自己带来的亲兵遣回鄂州，只留下少量人马，高宗立刻答应了。
张俊暗地里和秦桧早有约定，等罢免了众将的兵权后，再由张俊掌兵权，所以他是最先交出所管辖的军马的。
淮东、淮西、京湖三宣抚司紧接着撤销了。此后，直接听候三省枢密院取旨调发。
王贵接替岳飞，担任鄂州驻扎御前诸军都统制，张宪任副都统制，负责指挥岳家军。宋廷对他们不放心，特别任命秦桧的党羽林大声担任总领，进行监视。
刘锖也被罢免了军职，出任荆南知府，岳飞爱惜他是个人才，奏请留他掌兵，高宗也拒绝了。
高宗在给三大帅的制诏中，说尽了许多冠冕堂皇的好话，但是，一场更为狠毒的政治阴谋，却正在加紧筹划当中。
从此，南宋的兵权就掌握在秦桧和张俊的手中，他们继续策划阴谋，谋害岳飞，瓦解岳家军。
当初金军被岳家军打得狼狈不堪，兀术就把岳飞视为心腹大患，他深切地感觉到只有除掉岳飞，呑并大宋的目的才能实现。当岳飞率部安全撤回鄂州后，兀术便给秦桧写信，让秦桧想方设法除掉岳飞。在信中金兀术狠毒地说：“必须除掉岳飞，才有议和的希望。”
秦桧接到兀术的指令后，便不遗余力地贯彻执行。他计划先借岳飞之手除掉韩世忠，然后再处死岳飞。他知道，韩世忠与岳飞之间也有摩擦，韩世忠对岳飞年纪轻轻就登上大帅的宝座，并且有凌驾于自己之上的势头心存不满，且时有流露。秦桧估计岳飞对韩世忠也会怀恨在心，于是便设一个圈套引诱岳飞对韩世忠进行报复。
绍兴十一年（1141年）五月中旬，也就是在韩、岳解除兵权之后半月内，秦桧便与宋高宗一起策划瓦解韩世忠旧部的计划。密谋之后，宋高宗派张俊和岳飞二位枢密院长官前往淮东，任务是安排战守的工作。派张俊去淮东的行动本身就是要剥夺韩世忠的兵权。为了瓦解韩世忠的旧部，秦桧又策划了一个阴谋，他密令胡纺诬告韩世忠的亲信大将耿著，说耿著曾散布流言：“张俊、岳飞这次来淮东，目的是肢解韩家军。”企图蛊惑韩部众将，图谋叛变。秦桧接到诬告后，立即下令逮捕耿著，用酷刑逼供，给韩世忠罗织罪名。岳飞离开临安前，秦桧装作非常关心的样子对岳飞说：“韩家军现在正发生叛乱，你应该做好准备。”
岳飞对秦桧的话嗤之以鼻，但是他预感到秦桧的话隐含着杀机：要杀掉韩家军的一批战将。因此，岳飞对朝廷中传扬的耿著案件也发生了怀疑。他到淮东之后，立即展开调查，终于查出这是一桩诬告案，便致书韩世忠，详述耿著的冤情。韩世忠立即面见宋高宗，他以救过驾的资深老将的资格逼迫宋高宗制止秦桧的阴谋。高宗无奈，免除了耿著的死罪，秦桧谋害韩世忠的阴谋失败了。
秦桧想利用岳飞陷害韩世忠的阴谋没有得逞，便开始分解他的军队。张俊主张把韩世忠的部队完全分解，遭到岳飞的反对。岳飞对张俊说：“现在能守卫疆土的大帅已经不多，万一金兵再次南犯，圣上还会让韩世忠重新统率这支军队。到那时，我们有何面目见韩将军？”张俊自然对岳飞十分不满。接着，张俊和岳飞开始点验韩家军兵马，经过核实才知道，韩家军实际只有三万人。
岳飞没能阻止秦桧的阴谋，心情十分苦闷，回到临安后便申请辞职。宋高宗本意是想批准他辞职，但考虑到刚刚同韩世忠发生了冲突，如果又让岳飞辞职，难免引起朝野内外不安，便拒绝了岳飞的要求，但允许他从此之后不再过问朝廷的军事。想让岳飞不关心国家大事，那是办不到的。
八月初，南宋向金朝求和的活动又开始了，岳飞压抑不住内心的愤怒，上书高宗，坚决反对议和。
岳飞仍然是宋高宗和秦桧屈辱求和活动的绊脚石。秦桧决定加快迫害岳飞的步伐。他指使亲信谏议大夫万俟（si）卨（xie）、御史中丞何铸、殿中侍御史罗汝楫以言官和监察官的身份弹劾岳飞。
万俟卨等人对秦桧百依百顺，决定向皇上上奏本，列举岳飞的罪行，请求皇上对岳飞进行严厉的制裁。但岳飞一生忠君爱国，根本没有什么把柄可抓。然而，欲加之罪，何患无辞，经过他们几天几夜的密谋，给岳飞捏造了三条罪名：一、岳飞自从到枢密院任职以来，一直对朝廷不满，打算离开朝廷过安逸生活；二、在援救淮西军事行动中，拒不接受命令前往；三、到淮东安排战守工作时，主张放弃楚州。
三项当中，前两项纯属无中生有，第三项是曲解岳飞的意见。在淮东视察时，张俊主张重修楚州城，而岳飞不赞成。他认为，不谈整军北伐，却将注意力放在守城上，会给当地官兵留下一个不思进取的形象。
宋高宗看了给岳飞编造的罪名后，不问青红皂白，就将岳飞撤了职。被解职后的岳飞带着岳云一起回到了江州。
岳飞被罢官之后，宋金双方再次进行和谈。绍兴十一年八月，金兀术将扣押在金营中的南宋使者放回，让他们向宋高宗和秦桧传达一封书信：在南宋朝廷内部仍有人阻止和议，如果这种情况继续下去，我们还将发兵南下，希望南宋朝廷思考该怎样做才最好。
这封书信实际上是威逼宋高宗加紧镇压抗战派官员。宋高宗见到这封书信后十分惊恐，立即派光州观察使刘光远、成州团练使曹勋带着自己的亲笔信到兀术大营中哀求。兀术见信后，态度十分蛮横，指责赵构没有诚意，而且使臣职位太低，对金国不够尊重。高宗接到信后，又派吏部侍郎魏良臣等再次出使兀术大营，让魏良臣等口头说明让步的内容：以淮河为界划分两国疆土，淮河以北属金朝；宋国每年向金朝纳贡白银二十五万两，绢帛二十五万匹。如果有什么不妥的地方，一切听从兀术决定。
兀术对以淮河为界是满意的，但他仍然趾高气扬地反对以淮水为界，其实不过是故作姿态而已。经魏良臣苦苦哀求，兀术终于答应了赵构的要求，派昭武大将军萧毅等出使南宋，带去兀术信函一件，内容就是不杀岳飞，和谈无望。
赵构见信后十分满意，以君臣之礼写了回信，表示严格按照议和的内容办事。虽然双方以书信的形式确定了议和条件，但正式的和谈协议书尚未签订，为了早日迎接签约之日的到来，宋高宗赵构和权臣秦桧开始了迫害岳飞的行动。