既然没有前进的路，那么，身心疲惫的曾国藩就不得不寻求退路了。曾国藩知道，在这种情形下，只有迅速表明自己的态度，才能安全度过危险。那段时间，曾国藩无论在公开场合，还是在私下的日记中；无论是在给朝廷及同僚友朋的奏章和信函里，还是在给兄弟儿子的家书中，都用不同的语言和口气表达一个共同的意思：胜利得力于别人，自己无功可居。并且，一向行动迟重的曾国藩变得迅猛异常是果断地杀了李秀成，二是给朝廷上了一本《粗筹善后事宜折》。在奏折中，曾国藩对朝廷有两点建言：一是在两江范围内，全面恢复科举；二是请求裁减湘军。很快，朝廷同意了曾国藩的意见。曾国藩立即大告两江：当年11月份，将在两江地区恢复科举，进行甲子科乡试。曾国藩压下了两江总督衙门、江宁布政司、江宁知府等官衙的兴建计划，将经费用在两项建设上：一是重修满城；一是恢复江南贡院。修复满城，完全是出于政治原因，曾国藩是想以这样的姿态，消除朝廷对于自己拥兵自重的怀疑，曾国藩就是要让朝廷知道，自己身为一个地方汉族大员，对于清朝天子，是极度尊重的。曾国藩清楚地明白一个弱小民族的心理，也明白孤儿寡母统治的恐慌。至于恢复科举，倒是出自曾国藩的真心。作为一个曾经的读书人，曾国藩一直想为天下的学子做点什么，而且，恢复江南贡院，明显地可以笼络江南士子的心，起到稳定局势的作用。事情果然如曾国藩所料，科举的恢复，使得社会一下子变得有序起来，两江一带的年轻后生因为有了出路，又开始专心求学，变得安分守己了。
在裁减湘军方面，曾国藩可谓是计划周密一曾国藩向朝廷建议，经过这么多年的战争，湘军已“无昔日之生气”，奏请裁汰遣散，想马上裁三四万人。没等朝廷答复，曾国藩就擅自做主，在没有经曾国荃同意的情况下，以曾国荃有病为由，上奏朝廷，请朝廷不要安排曾国荃担任浙江巡抚，让他回老家养病。曾国藩担心的是，毫无城府的曾国荃因为沉不住气而坏事，并且，曾国荃因为攻城之后的大肆屠杀，以及太平天国银库大量金银失踪事件，得罪了不少人，若不暂时避一避，很可能首先遭殃的就是他。曾国藩的请求正中朝廷下怀，朝廷很快同意了曾国藩的意见，并且，在上谕中很是慰问了曾国荃一番。慈禧还特意让钦差送来一支六两的大人参，以示龙恩。直到此时，曾国荃才知晓了事情的前因后果。曾国荃很不高兴，以为兄长有意排斥自己。不久，在湘军将领秦淮河的一次聚会上，曾国荃借着酒兴，大发牢骚，曾国藩一时下不了台。曾国藩强忍住了，对此没有理会。不久，曾国荃的生日到了，曾国藩派赵烈文带礼物前去祝寿，并特意为曾国荃写了七绝十二首，其中有这样两句：“刮骨箭瘢天鉴否，可怜叔子独贤劳。”读着这样的诗，曾国荃泪如雨下。这个性格刚烈无比的汉子，终于明白了家兄的一片苦心。
8月15日，曾国荃来到了曾国藩的住地，兄弟俩进行了一次推心置腹的长谈。这一回，曾国藩将自己的担心和苦闷向曾国荃和盘托出，粗心的曾国荃恍然大悟，他一下子明白了事态的危险，也明白了家兄的一片苦心。曾国藩告诫曾国荃，现在只剩下急流勇退一条路了，要想保全自己，只有退一步海阔天空；即使是退，还要退得有序，千万不可因乱生变。曾国藩又赠曾国荃诗一首，既表达了自己真实的想法，也是告诫各位湘军弟兄：
左列钟铭右谤书，
人间随处有乘除。
低头一拜屠羊说，
万事浮云过太虚。
那一晚曾国藩兄弟俩谈了很久，一直到外面的公鸡都在打鸣了，曾国荃才离开。这一番长谈，涉及的东西太多了，曾国荃如冷水淋头一样清醒过来。曾国荃向曾国藩表示，自己很快就回家养病。曾国藩起身为九弟送行，走到院落里，已明显地感到萧瑟的秋意了，院子里的树叶上已沾满了露珠。肃杀的秋天，说来，就悄悄地来了。
遣撤湘军的那段时间，两江总督府里人来人往，很多老弟兄都是来跟曾国藩告别的。此外，还有一些嘱托。曾国藩都一一应允了。两万五千多名湘军回家了，庞大的队伍离开金陵后，曾国藩突然感到金陵城空了不少，心中如打碎了五味药瓶似的，惆怅无比。曾国藩知道人们会抱怨他的冷酷和铁血，但谁又会知道他心底中的一丝温情呢？而且，越割舍得果断，就越是安全，这支部队如果不迅速解散的话，那么，谁料到会有什么结果？只是，曾国藩心中稍稍有点内疚，这些人都是跟他很多年的家乡子弟，打仗时，把脑袋拎在手上，现在胜利了，却只能解甲归田。除了得到一些金钱，他们获得的，实在是太少了。
因为湘军大队人马的解散，东南局势变得平稳起来。不仅仅是曾国藩，很多人都为此松了一口气。不过让曾国藩稍感宽慰的是，庞大的湘军水师保留住了一一原先的湘军水师改编为长江水师，纳入了朝廷的正式编制，这一点，对于湘军很多弟兄，算是有了一个交代。值得庆幸的还有淮军的保留。以李鸿章处世的圆滑和机智，倒是可以成就一番事业的。淮军也算是他的部队，是他命令李鸿章一手组建的。把淮军留下来，是一件好事。有淮军在，自己就会很安全。况且，现在战事还没有真正平息，在北方，捻军异常活跃，淮军打仗剽悍，装备好，对北方也比较熟悉，去担当围剿任务更为适宜。至于其他方面，除曾氏兄弟的直辖湘军被裁撤之外，左宗棠部湘军也由六万余人裁去四万多，其余江西、湖南等地的湘军也大部遣散。这支庞大的队伍，就像秋天里的树叶一样，一阵风吹来，就慢慢凋落了；也像一块冰一样，泡在水中之后，慢慢地就消失了。一段时间之后，曾国藩的情绪变得平稳了，这一切，跟万事万物其实都是一个理，每个事物的诞生都是有使命的’使命结束了’末日也就来临了。
接下来，又一桩事情让曾国藩大费脑筋，也让曾国藩大伤元气。那就是太平天国幼王失踪案件。金陵破城后，李秀成乘乱护送太平天国幼王出城。李秀成的脚负伤之后，危急之下，他将幼王扶上自己的马，让随从带着幼王突围而去。曾国藩因为一直没有得到幼天王去向的报告，以为幼天王在乱军之中已丧命，便在向朝廷的奏折中声称幼王积薪宫殿，举火自焚。一直喜欢唱反调的左宗棠大约得到了一些消息，也给朝廷上了一个折子，称幼天王并没有死，而是在金陵城破之后，逃往浙江湖州。这一次，是左宗棠第二次不给曾国藩面子了。第一次，是在曾国藩赌气告假回老家丁忧的时候，左宗棠就到处说曾国藩是个“书呆子”、“假正经”，让曾国藩很恼火。这一次，左宗棠的说法同样让曾国藩兄弟很难堪。一番调查后，曾国藩又向朝廷上了一奏折，说幼王并没有逃走……就这样，曾国藩与左宗棠打起了笔墨官司，双方吵得不可开交。让曾国藩颜面扫地的是，幼天王的确没死，而且在江西被抓住了。自此之后，在很长一段时间里，曾国藩对左宗棠一直耿耿于怀，与左断交，一直到死都没有跟左宗棠通信。一直到后来左宗棠进军西北，曾国藩在最后的时间里，主动将湘军刘松山部调拨给左宗棠，并且在供给上全力满足左宗棠，为左宗棠在西北战场的胜利提供了保障。左宗棠也投桃报李，大捷之后，上奏朝廷请求褒奖曾国藩。两人到了此时，自然“相视一笑泯恩仇”了。这当然是后话了。
1864年10月8日，再度回到安庆的曾国藩带着家眷搬迁至金陵。曾国藩将两江总督府设在了太平天国天王府内。之前几成一片废墟的金陵，在度过了一段风平浪静的日子之后，像一个病人一样，慢慢地开始恢复元气。市民们陆续走上街，人们的脸上慢慢有了笑容。毕竟，这里曾是六朝古都，什么样的风雨没有见过，金陵人早已习惯于以不变来对待外面世界的瞬息万变了。相对于清峻的北京而言，富丽温软的金陵无疑更具人情味，也更有平民的精神，让人更为宽心，这一点，让同样来自南方的曾国藩感到很亲切。在金陵，曾国藩明显没感到类似京城的方方面面的压力。这是一个比较适合居住的城市，没有北方的官僚气，也没有江南的地主气。它既市井化，又有一点书卷气，有一种新型的商业和经济之上形成的市民气象，既市侩又实利，又活泼而平淡。在这座城市，人们有难得的平常心，也有处变不惊的大家风范。当然，对于这座城市来说，还有须臾不可割舍的风花雪月，以及那些经久陈旧的文化。
曾国藩慢慢变得安宁了，他开始按部就班地工作和生活。一开始，对于这种不需要提心吊胆的日子，他还感到不习惯，但慢慢地！曾国藩开始享受和平的宁静了。有时候，曾国藩甚至会叫一两个戏班子来府中唱戏！然后把彭玉麟、赵烈文他们喊来，呷着好茶，听得有滋有味。曾国藩平日喝得较多的！是安徽的茶叶，无论是黄山毛峰，还是六安瓜片，或者是太平猴魁什么的，他都非常爱喝。当然，曾国藩最喜欢的，还是家乡的永丰细茶。几乎每一年，家里人总要从湖南给他捎上几斤。唯一让曾国藩感到不习惯的是，以前自己满耳听到的，都是湖南乡音，现在，身边左右传来的，都是安徽话，连给他当差的，都换成淮军了。对于此，曾国藩并不后悔，天下没有不散的宴席，该散的，总有散的那一天。