岳飞正在集中精力抵御金兵的进犯，不料却遭到刘光世的诬陷。刘光世本来是援楚战役的总指挥，但他畏敌如虎，不仅不肯亲临前线，甚至连派主力部队过江、做出援救姿态的事都没做。楚州失守，他理应负主要责任。
为了推卸责任，他杀掉率轻兵渡江作战的偏将刘镇和王阿喜，给他们扣上不依军令作战的罪名。在向朝廷奏报楚州战役的情况时，又把责任推到岳飞身上，说岳飞不听从指挥，贻误了战机而导致援楚战役的失败。
宋高宗虽然知道楚州失守的原因，但对这位拥有重兵、名列三大主帅之一的刘光世也无可奈何。
因此，高宗既没有责罚岳飞，也没有责怪刘光世，仍然要刘光世领导江北各镇抚使，加强江北的联系和防务，还指示岳飞，要全力固守泰州。但是，刘光世并没有按朝廷的指示去做，仍然不给岳飞增兵拨粮。
金军攻克楚州后，集中兵力把楚州附近的抗金义军扫荡一空，这样他们就没有了后顾之忧。随后，金兵统帅挞懒亲率二十万大军，向岳飞驻守的泰州扑来。
就在金军自楚州沿运河南下袭击岳家军之时，鼍（tuo）潭湖（今江苏高邮北）以张荣为首的一支义军挡住了金军的去路。
张荣原为梁山泊渔民，金灭北宋后，他聚集了几百人起来抗击金军，因为作战骁勇，人们就称他为“张敌万”。
金军占领扬州后，张荣率义军乘船沿清河南下，驻扎在鼍潭湖水域，用黏泥茭草筑成水寨，最多时聚集了一万多人，在承、楚二州之间的樊良、白马、新开等湖泊内袭击金军，屡次获胜。
这次金军到达后，利用十一月湖水冰冻之机，进攻鼍潭湖义军水寨。经过激战，张荣孤军终于抵挡不住金军的强大攻势，为了保存实力，只好烧毁积蓄的物资，放弃水寨，转移到通州、泰州境内。
泰州地临沿海，没有山险可依，也没有粮草可供补给，刘光世不给予援助，以致岳家军的装备非常差，许多士兵在寒冷的冬季都没有棉衣穿，处境十分困难。岳飞把金军进攻的消息报告给朝廷，希望朝廷能给予援助。但朝廷的答复是，能打就打，能守就守，实在不行就撤退。
岳飞仔细分析了形势，感到敌我的力量对比实在太悬殊，就决定放弃泰州城向南撤退，以便保存实力。
在柴墟镇有一道九里多长的城墙，岳飞打算以此为屏障抗击金军，掩护几十万百姓渡江南撤。金兵追到柴墟镇，岳飞率军与金兵展开激战，金军把岳家军层层包围，企图依靠人多势众全歼岳家军。
岳飞奋勇杀敌，往来冲突，身负两处枪伤，仍然与全体将士并肩死战，杀死了许多金兵，致使河水都变成了红色。金兵的进攻再一次被击退。
岳飞亲自率领两百名精锐骑兵断后，催促大批百姓尽快过江。部队和百姓顺利渡过长江，脱离了险境。回到江南的岳家军，奉命在江阴驻防待命。从此，岳飞的军事生涯进入了另一个阶段。