伪齐军两次南犯时，长江防线的南宋各路军马都与伪齐军交锋过。在战斗中，各路兵马的战斗力及其统帅的才能都展现无余。而刘光世表现得最差，他畏惧金兵不敢交战，且沉湎于酒色，不理朝廷政事。因此宰相张波建议削除刘光世的兵权。宋高宗对刘光世几乎将淮西拱手让给伪齐的行为也十分恼怒，他也认为削除刘光世兵权的时机已经成熟，只是没有接替他的合适人选，才迟迟没有做出最后的决定。
张浚为了解除刘光世的兵权，就派心腹吕祉到刘光世的军营中，逼迫刘光世主动辞职。接着张波便以都督诸路兵马的名义通知岳飞接管刘光世的军务。同时，宋高宗又命令原刘光世部下大将王德等接受岳飞的指挥，并说，因为形势需要，把两军合并，你们要听岳飞领导，同心合力为国家效命，岳飞的命令就是朕的命令，如有违抗，将以国法制裁。但宋高宗始终未签发任命岳飞接管的诏书。
这些行动岳飞都已经知道了。素以收复失地、恢复中原为志的岳飞欣喜异常。他每次北伐，都因兵力不足，而成为局部战役。刘光世的部队兵马是自己的两倍，如果真能将这两支军队并归一起，则可大展宏图。伪齐的刘豫政权，由于两次南征均以失败告终，士气低沉，人心涣散，这正是南宋大举反攻的好时机。于是，他向宋高宗阐发了自己指挥这两支军队消灭伪齐政权、直搗金都的战略构想。
宋高宗对岳飞这个雄心勃勃的计划并未明确表态，仅以鼓励之辞答复他。此时岳飞高兴得似乎有些丧失冷静，把合并刘光世军当做一种既成事实。但事过不久，宋高宗却取消了将刘光世军合并到岳家军的打算。
事发突然，但也是有原因的。
第一，岳飞并不是宋高宗心目中接管刘光世军的最理想人选。
第二，是历史的教训。自唐末以来，武人拥兵自重、不服朝廷管辖已成为公认的教训，北宋王朝的建立就是掌握兵权的赵匡胤发动政变取得的，因而宋太祖留下祖训，对武官分而治之，不使其拥有重兵。
第三，其他文臣武将对岳飞兵权急剧扩大感到担心。
第四，宰相张浚的私心。他一向自视过高，认为自己的功劳比岳飞大，官职比岳飞高，统制全国兵马的权力应该由自己拥有，因此就出头反对岳飞的用兵计划，不断在高宗面前提出反对意见。而秦桧则乐于在一旁煽风点火，这两个人一明一暗地将宋高宗搞得有点动摇。原本高宗只是在一时的感情冲动下，才将兵权授予岳飞，但是他降金的念头从来也没有断过，只是因为种种缘故，他才在表面上装出一副抗金的模样。
如今在张浚和秦桧的鼓动之下，他才如梦初醒，想当年，宋朝的开国皇帝就是以武将的身份，发动了政变，当上了皇帝，而为了解除后患，又采用“杯酒释兵权”，的办法削了一部分武将的兵权，才安安稳稳地做起了皇帝。因此对武将的防范和猜忌，就成了赵宋代代相传的家规。
高宗自然也不会例外。狡猾的宰相张浚和秦桧就是利用高宗的这个心理，以历史来提醒高宗，不要忘记列祖列宗的教训，免得犯错。他们的目的就是让高宗明白，如果给岳飞太多的兵权，那么有朝一日岳飞权力达到了顶峰，功盖天下，而一旦起了谋反之心，那么想后悔也来不及了。
高宗领悟了他们话里的意思，毫不迟疑地给岳飞下了一道诏（zhao）书，收回曾经授予岳飞的统率淮西军的命令。这一切都是岳飞所无法预料的，高宗授予兵权时的情景还清晰地印在脑海，高宗当时殷殷叮咛的话语还回响在耳边，可是事情竟然已发生了这样的变化，怎不令人气愤？
捧着高宗的诏书，岳飞双手抖得很厉害。高宗在这件事上心里有鬼，所以不好直接面对岳飞，就派了张波将岳飞召至都督行府。在岳飞义正词严的质问之下，张波也说不出什么冠冕堂皇的理由，他只是通知岳飞，说淮西军的指挥已有了新的安排，装作从没有发生过授权岳飞统率淮西军的事情。
几天之后，朝廷又下了一道命令，通知岳飞先回鄂州等候命令，而将各路军并入岳家军的计划也成泡影，北伐金军之事又要作罢，所有的一切努力都化为乌有。而这一切，都只是在短短的瞬间发生了，令人不禁心生疑惑。
岳飞开始了思索，一串串的疑问涌上心头，搅得岳飞心里乱糟糟的。他想起当年，收复襄阳六郡时朝廷不许越出界线一步，攻打伊、洛时不许渡河深入，而此时正当收复国土的大好时机，却又毫无理由地要收回兵权，分散兵力，这一切都不是偶然或无意的，而是别有用心。
岳飞对高宗的出尔反尔，异常愤慨，于是上奏请求解除军务。理由是与宰相张浚意见不和，无法共事，当然实际理由并不是这一点，岳飞此举是为了表示对高宗的强烈不满。按当时的封建礼法制度，臣僚提出辞呈，必须要先经过皇帝的首肯，才能够离职，但是岳飞在极度愤怒下，不经皇帝许可，只对随从把军中机密作了一番交代后，就满怀悲愤地离开了建康，奔向庐山东林寺，给亡母姚氏守孝，尽一番孝心。岳飞这一近乎惊世骇俗的“抗上”行为，反映了他性格倔强的一面。
岳飞擅自离职，大大激怒了宰相张浚。他多次上奏高宗，说什么获取制兵权，是岳飞早已预谋的事，而如今岳飞未经允许就擅自离职，是用以要挟皇上，并且想办法剥夺岳飞的兵权。像狐狸般狡诈的秦桧，竖起两只耳朵，一边倾听高宗的动静和意向，一边也极度热情地支持张浚，一心想整垮岳飞。
岳飞的举动，也令高宗大为震怒。他对岳飞的疑忌也更加重了，但是在众大臣婉转的劝说下，加上和谈还没有获得成功，在军事上还要依靠岳飞，所以权衡利害得失，他按下了心头怒火，一面派都督府参议军事张宗尤代领岳家军，稳住岳家军，一方面派岳飞的部将李若虚、王贵等上庐山乞求岳飞下山。
为了逼迫岳飞出山，高宗还特别吩咐，说如果不能将岳飞请回来，就将他们和岳飞一同按军法处斩。
张宗亢是宰相张浚的心腹，原来他曾对岳飞怀有很深的敌意。他接旨到达鄂州后，着手统领岳家军。
岳家军对此感到非常担忧，人心慌乱，都说：“如今我们已经换了一个统帅，岳相公恐怕是再也回不来了。”后来由因病告假的张宪出来主持军务，详详细细地向军中各大小将领解释派张宗亢来岳家军的原因，费了好大一番口舌才将全军将士的军心稳定下来。
张宗亢看到岳家军严明的军纪，雄威的军容，昂扬的士气，不禁消解了对岳飞的敌意，从心底对岳飞产生了深深的敬意，禁不住长叹一声：“岳帅果真治军有方啊！”从此尽心尽力地操持着军务。
与此同时，王贵和李若虚带着皇上的命令来到了庐山东林寺。
他们费尽了口舌，动用了多种理由，始终无法把岳飞说动。接连劝了几天，到了第六天，李若虚不得不将最后一张牌拿出，他对岳飞说：“相公想造反吗？你从前只是河北的一个小农夫，后来皇上将重任托付给你，让你掌握兵权，这都是朝廷赋予你的恩典，难道你现在要与朝廷对抗吗？相公如果执意不肯下山，那么我们就会因此而遭斩，我们难道有什么对不起相公的吗？”
为了不使自己的下属因此而受到牵连，也为了抗金大业，岳飞只好受诏下山，尽管心里千百个不愿意，但是却不能违抗皇上的命令。
依照当时朝廷的制度，在恢复官职之前，岳飞必须先去求得皇上谅解。
为了表示自己的诚意，岳飞返回鄂州之前先到建康，朝见宋高宗。
当然，这次朝见主要是向宋高宗表示歉意，自责对高宗的不敬，他上奏说：臣因离职守丧，多次违背您的旨意，按国法论是死罪，请陛下维护刑罚的尊严，将臣处以死刑，以儆天下。
当然，这都是维护皇帝尊严的礼节性语言，高宗是不会杀他的。高宗回答的话表面上看来平平和和，像在宽慰岳飞，实际上却含有责备、惩罚之意，话语之中还透着杀机。他说太祖皇帝训诫，凡有违犯本朝法典的，应按罪论斩。但你的忠心我很明白，所以我不会杀你。这次仍然派你统率岳家军，表明我并没有怪罪你。
于是，岳飞抛开了个人的恩怨，重新认真地筹备北伐事业。
实际上，宋高宗对岳飞的不满已达到不可挽回的地步，只是他目前要依靠岳家军维护自己的统治地位，又没人能取代岳飞在岳家军的地位，才不得不表面上对岳飞加以安抚。