阿里海牙知襄阳的战略地位，谁占了襄阳，谁就拥有了南宋天下的一半。忽必烈接受了阿里海牙的建议，就命同知枢密院使伯颜与阿里海牙率兵征战，事实正如阿里海牙所估计的一样，自襄阳攻破，吕文焕投降做了元朝的大官，南宋的其他州郡就更无斗志了。他们认为作为南宋对外用兵的第一门户襄阳都被攻破，其他州郡就更是不可力敌。因此，当阿里海牙率兵一路南下，所过州郡很少有过迎敌，各州郡守将不是象征性地与阿里海牙对上几阵就投降，就是见了阿里海牙的旗号就倒戈委身于元。当然对于以后所降的宋将，阿里海牙并没有像对待吕文焕那样礼遇了，也没有几个做到了吕文焕那样的大官。每战攻城掠地，使得忽必烈灭宋的计划比他自己所设想的要容易得多。
至元十一年九月，阿里海牙会师襄阳，从襄阳誓师南伐，十二月出沙芜口，第二年三月与巴陵守将高世杰兵遇巴陵。稍作战事，高世杰就兵败而逃，至桃花滩而投降元军。一路滔滔下岳州，四月至沙市，攻沙市不下，乃放火，沙市即破，沙市宣抚使朱祀孙献城以降。入江陵，传檄郢、归、峡、常德、沣随、辰、沅、清、复、均、房施、荆门及诸洞，檄文所到之处，州、县、郡守无不慑于阿里海牙的威力而纷纷归降。见此，忽必烈大喜，大宴三日，对其近臣说出了自己的内心话。他原以为南宋江山会固若金汤，元军灭宋会需要一段很长的时间。他打发伯颜作为东路，因为阿里海牙孤军作战，也就很是为阿里海牙操心；没有想到，阿里海牙竟是如此善战，南宋将士竟是如此不堪一击，也就放心了。今荆南定，吾东兵可无后患矣，于是亲自作诏以褒阿里海牙，并命阿里海牙撤军还鄂。
却说阿里海牙，在接到忽必烈的嘉勉令与撤军返鄂的圣旨之后，不敢有违，所有收服的州郡的长官仍以原州郡的长官担任，以稳定所收服州郡的治安，又加派了兵马帮助维护。撤兵至鄂后，阿里海牙写信招潭州太守李芾来降。这李芾可不比吕文焕，亦不比其他的郡守，他对阿里海牙的招降文书连看都不看，就一把火给烧了，将来使重责了五十军棍，打得来使皮开肉绽，并将其轰出潭州。来使灰溜溜地爬了回去。
自襄阳誓师南征以来，这位招抚信使几乎没有受到过任何委屈。在其他州郡，尽管他是一位跑马送信的小人物，却终究手里拿了阿里海牙的书信，也就拿了鸡毛足以当令箭来，州郡长官见了，巴结他还来不及，将他敬君尊神一样奉为上宾。
如此崇高的礼遇，也就养成了他养尊处优的习惯，而自觉作为元人，他该高人一等。然而到了潭州，见李芾气得浑身颤抖，叫了军棍侍候：“回去告诉阿里小儿，在潭州，只有断头将军，没有投降将军。”
李芾说话掷地有声，义正辞严，信使也就顾不得尊严，顾不得疼痛，边滚边爬溜了。回到大营，信使向阿里海牙汇报了李芾的回话，并添油加醋地向阿里海牙反映李芾是怎样咒他，是怎样咒骂忽必烈的，气得阿里海牙嗷嗷直叫，恨不得立马就将李芾拿住，并生吞活剥他。
自破樊城，攻襄阳，又从襄阳誓师一路南下，阿里海牙没有挫折，战无不胜，攻无不克，以至南宋诸将望旗倒戈，闻名丧胆。阿里海牙没想到，潭州李芾不仅不买自己的账，而且还责打来使。两军交锋，不斩来使，这不是你汉人历朝历代所定的规矩么？
阿里海牙可是天生一个战争狂，在听了信使的汇报后，气得不得了。过一会儿后，他也觉得这李芾倒是有些气节，不像其他州郡的守将。他自襄阳誓师前后不过一年左右，就征服了南宋几十个州郡，少有州郡与之交锋，也就有些乏味。战争嘛，当然就是征服，但仅仅只是征服么？除了征服之外，是否还存在智力与体力的抗衡？所谓将遇良材，棋逢对手，不就是指战争么？阿里海牙曾做过贩马人，到过潭州，听说过楚蛮子的种种传说，也听说作为湘楚文化化身的屈原的种种传说。
他意识到，征服潭州有一场恶战，甚至会有一场他所不愿看到的悲剧的发生。
三月与高世杰兵遇巴陵，四月破沙市，盛夏移师鄂州，招李芾不从已是十月。阿里海牙很着急，于是移兵长沙，派兵攻打湘阴。没想到一个小小的县城，让他苦战三四个月，大小战役几十场，自己折兵损将，才攻下湘阴，占了湘阴县城。
攻破了湘阴，阿里海牙就有些踌躇满志了。他以为又像当年战襄阳一般，攻开了樊城，襄阳也就会不攻而破。因为他清楚，湘阴对于潭州来说，也像樊城之于襄阳一般，唇亡而齿寒。他写了书信，但不再遣使亲送了。他吸取前回送书的教训，将书信绑缚于箭矢之上，以弓箭射入城内。信的内容也不同，上回是以许愿、封官、荣妻作为诱饵。他见软的不行，就改成了硬的，以强硬的口气、坚决的态度作了“速降，以活州民，否则屠城”来吓唬。李芾见了仍然不作答复，只是依照自己的计划积极备战，部署军事力量。见软的不能感动其心，硬的又不能动摇其志，阿里海牙着急了。于是一方面以决隍城之水，以水来淹，另一方面又派兵以火炮攻之，自己则率中军于城下搦战。漫天的洪水，隆隆的炮声，并没有让潭州守将屈服，并没有像阿里海牙所想像的那样：守城的将士听到隆隆的炮声，以为是天兵神将，就吓得屁滚尿流。相反听了炮声，见了洪水，潭州将士更加愤怒，认为灭绝人性的阿里海牙是在做一件灭绝人性的事情。李芾于城楼之上暗伏了数百名弓箭手，用上了毒液的箭矢，见阿里海牙率中军于城下，趾高气扬，甚是威风，就放了乱箭。阿里海牙虽是武功高超，有万夫不当之勇，然而面对流矢，虽然用力地避了一阵，却终究无法完全避开，一支箭矢像流星一样，正中阿里海牙胸口。阿里海牙大叫一声，坠下马去，顿时口吐白沫而不省人事。见主帅中箭落马，元兵就无心恋战，鸣金收兵，抢了阿里海牙返回大营。
自对南宋开战以来，阿里海牙可谓身经百战，夺城掠地，没有过败绩，没有遭受过如此重创。细细思来，阿里海牙愤恨交加。他拔了箭头，用了元朝最好的金创药物，控制了毒素的发展，但伤口却终日化脓，久久不能痊愈。越是如此，阿里海牙也就越是急躁，越是报仇心切，因此尽管自己卧床不起，却整日命令部将不断地发起进攻。经过七十余天的攻战，将士死伤无数，终于攻克潭州。
攻克了潭州，却征服不了潭州市民，潭州市民又作月城以作抵抗，潭州守将李芾及转运使钟蜚英、都统陈自，不甘屈服于阿里海牙而横刀自刎，以身殉国。
自从中了流矢，受了重创，阿里海牙元气大伤，经常精神恍惚，往往一闭眼就梦见那些死于他马蹄下的冤魂。特别是李芾、钟蜚英，陈自自刎以后，阿里海牙对他们产生了无限的敬意。于是他命众将，以崇高的礼仪安葬了李、钟、陈等三人，又假惺惺地对潭州市民进行了安抚，派了大量的兵士以维护潭州的社会秩序。尽管如此，阿里海牙收买民心的计划并没有完全实现，市民的反抗时有发生，残杀元兵的事件几乎天天存在。这件事实实在在让阿里海牙感到头痛。因为这种近似游击战争的做法，尽管阿里海牙有翻江倒海之功，却终究无处可使。这些游击队员神出鬼没，根本无法让人明了踪迹，要是进行大规模的剿杀就有违初衷，自己收买民心的计划岂不是空费力气？李芾等自尽后，其余残兵落到了守将刘忠之手。
这刘忠据说是兵部侍郎吕师孟的亲戚，是吕师孟一手栽培提拔的。李芾死后，他自然无心应战，于是率众打开城门献城投了降，作了元人的走狗。刘忠献城以后，接受了阿里海牙的封赏，作了元朝的潭州太守。刘忠很清楚，潭州城内的游击战争，是岳麓书院的那些学子儒生所为。因为自从潭州开战以来，岳麓书院的学子儒生就放下了书本，参加了李芾的护城军队，虽然战死大半，但还有一小半在继续活动。他在解散这些残兵的时候，惟独没有岳簏书院这小半学子的去向，于是他肯定地向阿里海牙作了汇报。
对于岳麓书院，阿里海牙早就有所了解。特别是对于张栻那种“致君****”、“经世济国”的思想的灌输，更是让他敬佩不已。攻开襄阳以后，他听吕文焕谈了襄阳的历史，谈了岳麓书院的学生赵方当年主政襄阳与金兵对抗的历史，以及赵方、游九言、游九功对于襄阳备战的贡献。他更是把岳麓书院作为一方圣地而加以崇尚。但是岳麓书院学子士人坚持的游击战争却搞得他焦头烂额，他就由崇敬而变为仇恨，而且他一想到潭州的战争就有些心惊肉跳。这些湘楚之人骨子里就有一种叛逆的精神，有一种支撑他们的精神文化，游荡在这潭州的上空，游荡在这潭州的空气里。阿里海牙似乎意识到，这种文化的发源则是岳麓书院，对“祸起岳麓”，要使大元帝国能在这潭州大地得以长久统治，这种文化可能是一个相当危险的潜在因素，他认定了这个理。
斩草除根，截水断源，这是阿里海牙一贯的作风。他决定到岳麓书院去看看，于是备了战船，载了数百将士，过了湘江，浩浩荡荡地直奔岳麓而来。潭州七十余天的战争，大小数十次的战斗，无以数计的死亡与流血，早已把潭州的城池染得通红，早已把湘江两岸染得通红。呼吸带着血腥的空气，阿里海牙早已习惯。在他的思维里，空气本来就应该如此充满血腥。然而当他涉足岳麓，见那初春的嫩芽，潮湿的土地，那成阴的古树，以及那古色古香的书院、寺庙道观，这一切的一切，几乎让他惊呆了。呼吸着那纯尽的没有血腥气味的空气，阿里海牙虽然精神大爽，五脏六腑就像清洗过那样从未有过的轻松，然而这些却使他觉得有些别扭，有些不太习惯。那丛林中不时飞出的箭矢，要么射中他的一两个将士，让他感到心烦恼怒。但他却无可奈何，待他带兵闻箭而去，却是杳若黄鹤而无影无踪。当他们扑空离开的时候，间或又有一二十枝箭矢射中将士，他们在东奔西扑，继而又西奔东扑，却处处扑空。这些箭矢，都是经过毒液浸泡的，阿里海牙也没有如此之多的上等金创之药。因此带来的数百将士，竟被射死半数。他带了贴身随从步入岳麓书院的大门。大门敞开着，却找不到一个人影。步入二门，进入讲堂，一种从未有过的清香扑鼻而来。站在讲堂的中央，见孔子那慈祥的画相雄踞于讲堂之上，七十二贤位列左右，讲堂庄严、肃穆。他被这空旷却又充满神秘的气氛感染了。他真想像学子儒生一般，整天朝圣于此。但这是怎样的一种幻想呢？他是一个蒙古人，而且是一介武夫。虽然蒙古人亦崇尚孔子，太宗帝亦曾册封过孔子五十一世孙元措为衍圣公，敕修了孔庙。但于他阿里海牙行么？潭州七十余日的攻坚，大小数十场战斗，自己心口的创伤，几欲丧命的痛苦，以及潭州人誓死不屈的精神，在他的心中已经定形为一个无可挽回的悲剧，是他阿里海牙战争史上以及人生历史上最为耻辱的一页。一个可怕、可悲的决定在他的心中形成。他两眼冒火，他把一生的耻辱统统结归于这个圣地了。是这里培养了赵方，培养了游氏兄弟，是这里产生了湖湘的文化精神。只见他用手一挥，数十名亲兵各执火把，首先点燃了讲堂内的画像，慢慢地点燃了大门、二门、讲堂、斋舍……慢慢地整个岳麓山绯红了，浓烟滚滚有如乌云，遮蔽了天日，整个岳麓山笼罩在血腥的烟雾之中。书院的一切，在一声声毕毕剥剥的响声之中，化为了焦＿十。那数百年数十年的树木化成了炭末。岳麓山的一切在一阵火红之后慢慢地暗淡下来。
站在山麓，阿里海牙狂笑着，正准备离开，一枝流矢飞来，射中阿里海牙的面颊，阿里海牙应声倒地，不省人事。
正是：
元人问鼎逐中原，滚滚烽烟蔽云天。
荼毒岳麓干戈起，碧血尽染啼杜鹃。