1853年3月太平军攻克南京，定都天京，开始了北伐和西征。从1853年10月23日至11月15日，清廷四次下诏，命曾国藩率湘军支援武昌，但曾国藩决定办好水师后再出战。
1854年2月，太平军占领黄州，兵分三路进攻湖南。这时，湘军水陆两军组建完毕。1854年2月25日，曾国藩率1.7万人出征。
太平军占领了湘阳、靖港、宁乡等湖南北部地区。少数太平军在宁乡一带设下伏兵，主力后撤。曾国藩命令陆军全面进攻。湘军进入埋伏圈后，太平军突然猛攻，湘军先头部队被全歼，太平军随后撤退。
太平军经过集结后，向湘军发起了全线反攻。4月24日，太平军占领湘军总部湘潭，包围长沙。
外无援兵，内缺粮草，曾国藩命大军分两路突围。一路直冲湘潭；亲率另一路直冲靖港。
太平军发炮轰击，湘军水师的前哨船起火，后边的船队纷纷溃逃。太平军派小船在湘军水师的后面放火。陆军听说水师惨败，争相抢渡浮桥，溺死者无数。
曾国藩越想越羞愤，决定跳水自杀。章寿麟救起他，把他背到船上，连夜逃回长沙。曾国藩写好遗嘱，准备第二天自杀。突然，传来了另一路湘军取胜的消息。于是，曾国藩率湘军向太平军发起了疯狂的进攻。1854年12月，湘军控制了湖北、湖南，水师在长江上游巡逻。
1855年1月23日，曾国藩率水师和部分陆军向湖口发动猛攻，太平军主动撤退。曾国藩率全部轻便战船冲进湖内，把大型战船留在湖外。太平军立即堵塞湖口，晚上，太平军偷袭湘军水师的大型战船，战船被烧成废铁。接着，太平军向湖内轻便战船发起猛攻。湘军水师纷纷挂帆上逃，大小船只损失无数，溃不成军。曾国藩再次投水，被人救上来。
不久，太平军打败了湘军的陆军，4月3日，太平军占领武昌。清政府只给予曾国藩封赏，不肯把督抚大权交给他。曾国藩还饱受地方官的刁难。曾国藩接到父亲去世的消息后，辞职在家守丧三年。
1858年，石达开率部进入浙江。湖北巡抚胡林翼等保荐曾国藩，肃顺也支持曾国藩。咸丰帝命曾国藩办理浙江军务。
同年9月，李秀成率部大败清军，又破江北大营。1860年3月，李秀成、陈玉成、李世贤等部破江南大营。太平军占领苏州、常州。清政府在南方的绿营军覆灭，南方只剩下湘军了。
清廷强令曾国藩进攻巢湖，收复苏州、常州。曾国藩委婉地提出"困难"，一是"兵力不足"；二是"眼病复发"，难以亲往。咸丰帝连忙把浙江、江苏大权交给曾国藩。曾国藩招募三支队伍开往江、浙。曾国藩同时指挥收复江、浙和围攻安庆。8月10日，清廷任命曾国藩为钦差大臣，节制大江南北各军。