与此同时，宋高宗与秦桧在完颜宗弼以杀掉岳飞为条件才能议和的要求下，处心积虑地企图夺取统兵大将的指挥权。高宗十分富有政治头脑，深受“重文抑武”的祖宗家法的影响，深知收回兵权与向金朝投降这两者是相辅相成的：如果与金人媾和成功，就能收回诸多大将的兵权；也只有把大将的兵权收回，才能确保议和的顺利进行。在宋金战争进行到绍兴七年以后，金朝国内统治集团内部的矛盾和阶级矛盾都十分尖锐，军事力量已大不如前，而南宋军队经过重建，在抗金的战斗中节节胜利，使得宋金双方军事力量趋于平衡。高宗等认为收回兵权的时机成熟。
绍兴十一年（1141）四月，宋高宗与秦桧采纳了给事中范同提出的以明升暗降、暗夺兵权的建议，调虎离山，在参知政事王次翁的积极参与下，以奖赏柘皋之捷为名，发金牌一道将张俊、韩世忠和岳飞三人召到临安。高宗任命张俊与韩世忠担任枢密院使，岳飞因年轻则为枢密院副使，同时把三大将原先所主持的淮西、淮东和京湖三地宣抚司统制以下的官兵都划归三省及枢密院统一指挥调动，而且一律改称统制御前诸军，从而割断了三人与前方将士的联系。七月时又罢了刘犄的兵权，让他出任知荆南府。岳飞和韩世忠二人对朝廷的举措感到突然，张俊却早已与秦桧达成幕后交易，约定好在尽罢诸大将之后将兵权划归他所执掌，因此便率先交出了兵权。
秦桧深知岳飞会和韩世忠二人是坚决反对和金朝议和、主张北伐中原的主战派，而且关系颇好，惟恐他们联手，便宣布韩世忠留在御前听用，派岳飞和张俊前往原韩家军驻地楚州（今江苏淮安）检阅部队，安排守战事宜。这时秦桧已经在韩世忠的军队中安排总管财政的小校胡纺作为心腹，据他密报说：“韩世忠的部将传言朝廷派遣枢密使前来分拨人马，军中的事务一经整顿，必然产生事端，大家要慎重考虑”。于是秦桧借口韩世忠的部将耿直蛊惑人心，扰乱军营，将其打入大理寺监牢，严刑逼供，意在影射韩世忠。因此在岳飞动身前，秦桧提醒他要将韩世忠的队伍以发动叛乱的军队来对待。
绍兴十一年（1141）六月，张俊、岳飞一行人等来到楚州。这是淮东战区的大本营，扼守运河重镇。岳飞巡视防务，凭吊当年战斗的遗迹，思绪万千。岳飞在查阅军籍后，方得知韩世忠所辖人马不过3万人，却能坚守楚州10余年之久，使金军不敢侵犯，实在令人称道。他深切感到，拒绝朝廷的军令和政令是责无旁贷的。于是他向张俊恳切地表示不能拆散韩家军，反对将其大本营撤往镇江。张俊却对岳飞的建议置若罔闻，一意孤行，下令拆毁在淮北的海州城，按照朝廷所布置的方案，将韩世忠的精锐部队背嵬亲军调往临安驻守。但岳飞在此期间得知耿直是被冤枉的，连忙将事情告诉了韩世忠。韩世忠接到信函后，大吃一惊，连忙进见高宗，痛哭流涕，“投地以表心声”。高宗了解韩世忠，知道自靖康之变以来，为维护自己的统治，立下了汗马功劳，有救驾之功，同时一直贯彻执行朝廷的命令，因此不想深究。当秦桧明白高宗的意思后，知道不能在陷害韩世忠了，就对耿直只处以杖刑、发配来了事。秦桧心中更加忌恨岳飞，将魔掌伸向了他。
岳飞是宋高宗南渡后诸多将领中出身最低、资历较浅，却是功勋最为卓著、抗击金军最有力的。他与张俊、韩世忠、刘光世等先辈将领并称中兴四郎将。俗话说得好，人的名立得远，树大招风，岳飞的一举一动，不光受到同僚的嫉妒，还受到皇帝的猜忌。然而岳飞对国家和皇帝是忠心耿耿，但并没有达到毫无主见的地步。相反由于出身苦难家庭，是一个在官场上不善于见风使舵、保护自己的人，而是个性刚正耿直，为了抗击金兵、收复失地，经常与懦弱、反复无常、目光短浅的当政者宋高宗意见相违背，不时发生顶撞，这样使得两人的隔阂不断加深。尤其是岳飞曾经做过两件事，触犯了宋高宗的忌讳。一件事是发生在绍兴七年四月，岳飞的擅离职守。因为高宗在派岳飞执掌淮西军北伐问题上出尔反尔，他见自己统兵北伐的愿望不能实现，一怒之下，弃军队于不顾直上庐山，为其母亲守孝。高宗认为这种举动是在要挟君主，但鉴于金军的威胁还存在，不得不好言安慰敦促其下山，却又同时引用太祖 “犯吾法者，惟有剑耳” 之言以示警告，在表达不满之余已暗藏杀机。
另一件事就是发生在同年的立储事件。绍兴七年八月，岳飞出于对朝廷的忠心，向高宗建议安排储君一事。他希望高宗将已经养育在宫中的太祖七世孙赵伯琮（后改名为赵瑗）立为皇太子，以此粉碎金人准备立钦宗儿子作为傀儡皇帝，建立伪宋的阴谋。此时宋高宗只有31岁，虽然他唯一的子嗣、3岁的赵旉早在8年前就以惊悸而死，而他本人在扬州溃退时因惊吓过度引起性功能障碍，再也无法生育了，但他不甘心于此，千方百计地求医问药，祈祷神灵，根本不想及早确立的赵瑗皇储地位。这是他的难言之隐。岳飞的建议不仅触动了高宗的禁忌，还触犯了“武将不得干预朝政”的祖宗之法，引起高宗的极大反感。因此在金廷的步步逼迫下，加上岳飞在对金和议问题上极力反对、北伐中原的决心至死不会改变，高宗和秦桧想要以屈膝议和作为巩固自己皇位与相位的根本方针，则岳飞非死不可。
绍兴十一年（1141）七月，秦桧唆使自己的党羽万俟卨以谏官的身份弹劾岳飞，不分青红皂白、颠倒是非地归纳出其三条罪名，其一是“日谋引去，以就安闲”；其二是在淮西之战，不按时进发；其三是到淮东视察将士，使得士气沮丧。第一个罪名暗指岳飞辞职上庐山一事，第二个罪名是指他没能及时救援淮西之围一事，第三个罪名完全是张俊将撤除防务的事情栽到岳飞头上。接着，御史中丞何铸、殿中中丞罗汝楫也上书弹劾岳飞。八月，岳飞意识到自己的处境的险恶，知道即使自己退闲，秦桧也不会就此善罢甘休。因此他在上奏要辞去官位时，恳求高宗“保全于始终”。于是他被罢去枢密院副使，改任万寿观使一类的闲职。但高宗显然不想保全他，在罢免岳飞的诏书里，说其有善杀之气，“有骇予闻，良乖众望”。朝廷中的议和派也不放过他。
张俊在秦桧的指使下，利用在镇江开设枢密行府的机会，命令鄂州驻扎御前诸军统制王贵前来参见，以威胁和利诱使王贵就范。同时又买通了张宪的副统制王俊，由王俊向王贵告发岳飞的爱将副都统制张宪，诬陷张宪在岳飞罢兵退闲之后准备裹挟所指挥的岳家军离去，以此迫使朝廷将兵权交还给岳飞。王贵虽明知是假的，却将王俊的状词发往镇江的张俊枢密行府。张俊在接到状词后，立即逮捕了前来参谒的张宪。按照当时法律，枢密行府无权开设刑堂。但丧心病狂的张俊哪里管得这些规矩，命令亲信审核，将张宪拷打得死去活来。张宪虽然受到张俊的严刑逼供，但仍不肯招认。张俊却就此事上报朝廷，诬陷张宪串通岳飞一起谋反。于是宋高宗下旨特设诏狱审理岳飞一案，且要秘密进行。宋代朝臣犯法，大多是由大理寺、开封府或是临安府审理，只有重大的案件才交由御史台处理，很少使用诏狱的方式。诏狱是用以查办谋反大罪的大狱，须由皇帝亲自决定的，临时委派官员奉诏勘核。
十月，岳飞与其子岳云被投入到大理寺监狱。岳飞见到爱将张宪身穿囚衣，四肢戴有枷锁，浑身被鲜血所染，痛苦呻吟，心中苦楚。又见到牢狱中的小吏已经为自己写好口供，更是怒火中烧。御史中丞何铸和大理寺卿周三畏奉旨审讯。岳飞在受审时，情绪激动异常，要求衙役将其上衣解开，露出早年针刺在后背上的“尽忠报国”四个大字，表明自己的清白与忠诚。无论何铸怎样问讯，都丝毫未获得一字岳飞谋反的口供，便向秦桧辩解岳飞是无辜的。
秦桧理屈词穷，不得不搬出后台说：“此乃官家的旨意也。”何铸虽然前不久也弹劾过岳飞，但毕竟天良没有泯灭，义愤地大声说道：“我岂能因与岳飞有隙，就冤屈他。现今外敌未被消灭，就无故斩杀一员大将，会使将士们寒心的，这不是巩固江山社稷的长久计策。”秦桧一听，知道案子审理不下去了，只好上奏高宗，改命万俟卨为御史中丞，审理岳飞一案。万俟卨乃是一个十分狠毒的小人在担任荆湖北路转运判官和提点刑狱时，岳飞知道他的为人很坏，予以鄙视，所以万俟写就一直怀恨在心。而命他接手此案，正是给他官报私仇的机会。万俟卨上任伊始，就会同大理寺卿周三畏一起审讯。他将王俊的诬告状子等摆在岳飞面前，厉声喝问道：“国家待你不薄，你却为何要反叛国家呢？”岳飞回答说：“我敢对天发誓，我没有辜负国家。你既然是掌管国家刑律的，却不可以私自陷害国家忠臣。否则我到了幽冥地府，也不会与你善罢甘休。”万俟卨冷笑道：“你既然说不曾谋反，那可记得在游天竺日时，在墙壁上所题留的，‘寒门何时富贵过’？”手下众人随声附和说：“既然出此题，难道不是要谋反吗。”岳飞明白这是他们恣意诬陷，没有公理可以诉说，悲愤地大声说道：“我今天才知道，只要落入秦桧国贼的手里，我为国家所做的一切都算不上功绩。”于是岳飞将眼一闭，任凭狱卒的百般拷打，始终沉默不语，也无呻吟之声。最后岳飞通过绝食，来速速求死。于是秦桧和万俟卨便将毫无罪过的岳雷，也以“私自探视”为名而被投入牢狱之中，与父亲相伴。牢狱之中有一名叫隗顺的狱卒，十分同情岳飞，尽其所能地给予岳飞关照和护理。
据说还有一名狱卒，颇通封建专制哲理，对岳飞说：“我一生认为你是一个大忠臣，所以小心服侍，不敢怠慢，现在却变成叛逆的臣子。”岳飞不解其故，狱卒又说：“君臣之间是不可以猜疑的，怀疑则会大乱，故而君王猜忌臣子就将其诛杀，臣下怀疑君王就会谋反。倘若臣下对君主有疑问却不反叛，更会使君王感到怀疑而遭到诛杀；假使君王怀疑下属却又不诛杀，则会使臣子对君主有疑问而必然背叛。现今皇帝怀疑你，所以将你送到这里，怎么会有让你出去的道理呢？如果你死了，也就没有什么猜疑了。倘若岳少保你不死，走出牢狱，则必定怀恨皇上，哪里还有不造反的意思呢？既然造反已经明了，你必然就是逆臣。”岳飞入狱后对高宗不在保有什么幻想，但是狱卒的见地竟然如此投撤，使得他悲慨万端，仰望苍天，长久不发一语。面对秦桧一伙对自己施用酷刑来逼供，制造冤狱，最后岳飞愤怒地在狱案之上写下“天日昭昭，天日昭昭”8个大字，来向高宗与秦会做出最后的抗议。
听到岳飞等人将要以谋反之罪论处，朝野上下为之震惊。许多正直的朝廷官员不顾宋高宗和秦桧的专制淫威，纷纷上书营救岳飞。就连明哲保身的大将韩世忠也挺身而出，当着宰相秦桧的面前诘问道，所谓岳飞等人谋反的证据究竟在哪里，秦桧支支吾吾地说道：“此等事体莫须有。”韩世忠忿忿不平地回复道：“相公，‘莫须有“三个字，何以使天下信服！”秦桧的妻子王氏却在枕头边吹风，火上浇油地提醒他说：“俗语有擒虎容易，放虎有难。”宋高宗也决心违背“不杀大臣”的祖宗家法，在绍兴十一年十二月二十九日（1142年1月27日），亲自下圣旨，赏赐岳飞毒酒以自尽，张宪与岳云二人则依照军法斩首。
一代名将的冤魂在西湖岸边飘荡，岳飞的悲剧下场，为后世留下了一段千古绝唱。