陷入祁门困境
或许略微有点地理常识的人都知道，安徽祁门，四面环山，驻守祁门向来都是兵家大忌，因为，四周高，中间低，祁门就像一个大锅底。
无论太平军从哪个方向进攻都是从上往下俯冲，而驻守在祁门的湘军无异于瓮中之鳖，进退两难，只能任人宰割。
所以曾国藩最早决定驻守祁门的时候，李鸿章就坚决反对，虽然曾国藩对李鸿章的智慧和判断并不怀疑，但是，曾国藩选择祁门驻军也有他的道理。
因为此时，曾国藩已经是名副其实的两江总督了，他不可能只为了攻打安庆，而一点都不顾及两江地区。这样的话，官场上的人会说曾国藩占着茅坑不拉屎，戴着官帽不干事，于情于理都说不过去。
而安徽祁门，东连休宁、徽州，南接江西的景德镇，是安徽、江西、浙江三省的交界之处，驻军祁门，不仅可以顾及两江，而且又不耽误曾国藩亲自坐镇指挥进攻安庆。
而且曾国藩在决定进军祁门的同时也做了一番防护工作，派湖南提督周天受守宁国府，李元度守徽州，左宗棠守景德镇，吴坤修守九江，鲍超和张运兰守休宁。
因此曾国藩一意孤行，选择了驻军祁门。而李鸿章却坚决反对。但是，李鸿章毕竟是曾国藩的学生，而且李鸿章这时又是寄人篱下，无奈，李鸿章只能将意见保留。但是，在李鸿章的心里却烙下了对曾国藩不满的病根。
原本曾国藩和胡林翼早已商定好了，兵分三路进攻安庆，但是瞬息万变的战事，让曾、胡二人不得不选择与时俱进，被战事牵着鼻子走。
但是曾国藩这次认准了安庆一定要攻下的死理儿，所以，虽然曾国藩决定进驻祁门，但是，他还是留下了九弟曾国荃一支湘军，继续围攻安庆。
曾国藩在拔军之前想得很美，想要一举两得。但是，咸丰十年六月初一（1860年7月18日）到了祁门以后，曾国藩就开始后悔了，因为祁门确实如李鸿章所言，是一个死地。
正在曾国藩后悔之时，李鸿章又急匆匆地跑来，说了一通不该来祁门之类的丧气话。原本还有可能改变主意的曾国藩，听了李鸿章的一番啰唆以后，恼羞成怒，破口大骂李鸿章胆小怕死。
被老师骂了个狗血喷头以后，李鸿章再也不敢吭声了。有时候人就是这样，死要面子活受罪。特别是职位高的人，他们常常把自己的面子和尊严联系到一起，而且为了显示自己的地位，常常要摆出一种很有威严的架势，来达到获取众人敬畏的目的。
所以对于职位相对比较低的人来说，如果想要说服上级采纳自己的建议，那么你首先要给足了上级面子，然后顺着老虎的毛摸，或许他就会礼贤下士了。
虽然曾国藩的一番痛骂，封住了李鸿章的嘴，但是如果真的在祁门碰到太平军来袭的话，不仅曾国藩小命不保，李鸿章作为一个小人物估计活命的可能也不会太大。所以此时李鸿章的思想就开始开小差了。
而就在此时，东面突然传来了徽州被攻下的消息。本来，曾国藩见太平军大举西征，而徽州为湘军粮饷运输的要道，所以老早就派了李元度前去镇守，当时曾国藩给李元度下的死命令就是坚守徽州，不可出城作战。
但是李元度立功心切，仗着自己有六千大军，就在曾国藩的命令下达不久，也就在他到达徽州的第二天早上，就打开城门与太平军展开了激战。
结果，由于李元度原本书生气不改，又不怎么会打仗，随后，徽州很快被太平军拿下，而他自己也逃命去了。但是他并没有立即逃到祁门湘军大营，而是在一个月以后，才逃回了祁门军营来见曾国藩。曾国藩一见李元度的狼狈样，真是气不打一处来，当即就把他臭骂了一顿。你说你这兔崽子不仅违背了军命，而且作为守城将士还第一个逃跑，逃走了还不说，还一声不吭，不回来也就罢了，连封信也不写，谁知道你是死是活呀。
受了曾国藩一顿臭骂，再想想自己在外流离失所、风餐露宿、吃了上顿没下顿的一个月的跑路生活，李元度觉得自己本来已经很惨了，在老曾这里不仅得不到安慰还招来了一顿痛骂，一生气，跑到湘军的会计办公室取走了几个月的工资回湖南老家去了。
这下可把曾国藩给气死了，你错了就错了还不让人说，真是没见过这样的人。
但是气归气，李元度这个人对曾国藩来说，可以说是曾国藩的救命恩人。因为，最初在靖港战败，曾国藩跳水自杀的时候，当时救曾国藩的人就是李元度安排在他身边的，而曾国藩本人也对李元度的恩情一直念念不忘。
曾国藩对李元度有“三不忘”，一不忘是在靖港之败时，李元度派人救护；二不忘是九江战败时，李元度拥军保护湘军水师，护卫根本；三不忘是樟树镇败后，曾国藩大营无兵可用，李元度不离不弃，苦苦支撑，直等到援军到来，救了曾国藩。
所以曾国藩在决定参劾李元度的时候也是相当犹豫的，但是李元度办的事也确实让人生气，于是曾国藩也只能来个“挥泪斩马谡”，参了李元度一本，结果李元度被革职。
如果说，这次曾国藩参劾李元度是因为李元度的错的话，那么之后曾国藩对李元度的参劾多少就有点公报私仇的意思了。
这次曾国藩决意要参李元度，而李鸿章这时又是曾国藩的秘书，那么这个写奏折的任务就落在了李鸿章头上。
李鸿章一听曾国藩要参李元度，李鸿章就不干了。李元度不仅是湘军自己的人，而且一直以来对曾国藩忠心耿耿，并且对曾国藩有恩。于是，李鸿章把笔一扔，撂下三个字：“我不写。”
曾国藩一听，一个秘书都敢跟我这么说话，“你不写，我自己写。”李鸿章也被惹毛了：“你写，我就走！”“那就请你走吧！”
于是俩人就这么谈崩了，李鸿章卷铺盖走人了。毕竟老大都发话了，要走你就走吧，李鸿章再留下来还有什么意思呢？
有时候当小弟的就是有这么一点好处，不想干了可以走人。但是当老大的就不行了，还有一大堆的烂事，等着曾国藩去处理呢。
就这样，李元度回湖南老家了，李鸿章溜了，曾国藩又失去了一个忠诚的护卫团团长和一个智囊。
但是，李元度回湖南老家以后并没有安安分分地过日子，而是处心积虑地另攀高枝，于是他通过邓辅纶与浙江巡抚王有龄勾搭上了。
而浙江巡抚王有龄素来就与曾国藩不和，对于李元度的到来，他是非常地欢迎，于是就给了小李一个浙江省副省长的职位（按察使），而受宠若惊的李元度在新老大手下做事也相当卖力。
原来早在李元度未离开湘军大营前，曾、王二人已经闹了矛盾。咸丰十年八月（1860年8月）初，太平军展开第二次西征，浙江巡抚王有龄得知以后，惊慌失措，因为，太平军如果转战安徽，那么战火很快就会烧到浙江。于是，王就向曾求救，曾也因为早就知道浙江是富饶之地，于是就想借此机会要点粮饷。谁料，曾有心要，王无意给。
于是，曾拒绝支援浙江，王见曾见死不救，于是就千方百计地祸害曾，当然也包括挖走李元度。
结果，曾国藩得知李元度投奔了王有龄真是要气得吐血了，于是就处处跟李元度过不去。
不幸的是，在同治元年太平军攻入浙江的时候，由于李元度的救兵未及时赶到，王有龄兵败身亡。
这次曾国藩再一次抓住了李元度的小辫子，再狠参一本李元度延误军机导致浙江巡抚兵败身亡。最终，李元度被判充军。
虽然曾国藩对李元度的参劾多少有点缺乏人情味，或是有公报私仇的味道，但是，这却表明了曾国藩是一个厌恶背叛的人。李元度投奔谁不好，偏偏投了他的冤家，这也就为李元度后来被发配充军埋下了祸根。
但是有些学者认为，曾国藩对待李元度的态度其实是为了警示湘军将领不要另谋他图，只能跟着他一个人，否则，李元度就是他们的榜样。
然而，太平军西征的步伐并没有因为曾国藩集团内部的人事变故矛盾而停下。