1853年，太平军进入湖南时，清政府便令两湖督抚劝地方士绅兴办团练。而此时，曾国藩便因其母病逝在原籍守制。这年十月，曾国藩接到成丰帝的上谕，要求其以在籍侍郎的身份协助张亮基“办理本省团练乡民”。曾国藩随即赶赴长沙，并着手筹办团练武装。
曾国藩到达长沙后，面对日趋恶化的军事形势，认为必须从根本上建立和训练出一支组织严密并有顽强战斗意志和实战能力的新的地主武装力量，才能维护封建统治秩序。
长沙解围之后，湖南巡抚张亮基又从湘乡等地调来了一千多名团丁，以加强长沙的防守能力。曾国藩到达长沙后，将这一千多人分为左、中、右三营，由罗泽南统率中营，王鑫统率右营，邹寿琼统率左营，每日进行操练。这就是最初的湘军。经过半年的招募和扩充，至1853年8月，湘军队伍迅速发展到了十营六千人。
与此同时，曾国藩鉴于太平军在长江有一支庞大的水师，就着手创建水师。于1854年2月，湘军水师建成。至此，经过整编后的湘军拥有陆军十营，共五千人，以塔齐布为诸将先锋；水师五千人，以褚汝航为各营头领：共合计一万七千人。
湘军的编制以营为基本战斗单位，设营官一人，掌管五百兵勇；营下设四哨，哨下设八队。对官兵的选拔也是采取层层选拔的办法，即大帅选统领，统领选营官，营官选哨弁。从而逐级加以节制，全军由曾国藩一人节制。对士兵进行严格训练：训主要是进行封建伦理和纪律教育，练则指练队伍和练技艺。
这样，曾国藩便利用封建宗法关系作为维系湘军的纽带，组成了一支私人武装，成为太平军的死敌。由于曾国藩杀人无数，因而被人称为“曾剃刀”、“曾屠户”。
五、镇压起义
1854年，湘军建成，曾国藩便发布了《讨粤匪檄》，率湘军东征。曾国藩在两湖地区与太平军展开了战斗。1854年3月，战斗主要在岳州一带进行，结果湘军大败，太平军乘胜攻占了湘潭。
曾国藩率水军想夺回湘潭，结果又败下阵来。曾国藩想投水自杀，为部下所救。太平军伤亡也很大，于是退去。曾国藩率领湘军休整三个月后，又重新夺回岳州。
1855年，风云突变。而在此前湘军已在水军上取得很大优势。可是此时太平天国却派石达开进行西征。石达开率军夜袭九江湘军水师，烧毁了湘军多艘战船，并俘获了曾国藩的座船。曾国藩再次投水，被人救起送到罗泽南营中。
天京事变后，太平天国由盛转衰，形势急转直下。曾国藩趁机反攻，于1856年12月攻陷武昌。1859年，曾国藩开始把攻取安庆作为战略重点。曾国藩对进攻安庆采取了围城打援的策略。他采取稳扎稳打、步步为营的战术，决定先取安徽，再及于江、浙。
经过长期围困，1861年9月，湘军曾国荃部大败太平天国英王陈玉成部。陈玉成战死，安庆被攻陷。
同年，成丰帝病逝。10月，慈禧太后与恭亲王奕发动了“辛酉政变”，夺得最高统治权。为了尽快消灭太平天国起义，1862年，慈禧任命曾国藩为两江总督，加协办大学士衔。曾国藩于是便加紧了对苏南、浙江的进攻。在他的支持下，曾国荃部包围了天京。
1864年7月19日，曾国荃攻陷天京，天京陷落标志着太平天国起义的失败。
清政府得知此消息后，论功行赏，对一百二十多位在攻占南京中有功的湘军人员大加嘉奖。当然，对曾氏兄弟尤其嘉奖。曾国藩被赏加太子太保衔，封一等侯爵，并赏戴双眼花翎；曾国荃加太子少保衔，封一等伯爵，并赏戴双眼花翎。
曾国藩于1864年10月设两江总督衙门于英王陈玉成府内，正式任两江总督。
太平天国失败后，其余部赖文光等仍然转战各地，并与张宗禹的捻军相会合，对部队进行整编，形成了新捻军。1865年5月，在山东荷泽西北高楼寨，新捻军将围剿捻军多年的僧格林沁击毙，并歼灭其所部七千余人。清政府大惊，急忙宣召曾国藩，命他以钦差大臣身份督师剿捻。他坐镇徐州，并在临淮、周口、济宁等地驻防重兵，进行堵截，重点围攻；另外派遣精锐骑兵跟踪追击捻军。但是，捻军兵分东西两支，往来穿插，清军仍处于被动挨打的状态。1866年9、10月间，捻军两度攻破清军河防。曾国藩自认“剿捻无功”，便奏请开缺协办大学士、两江总督，“剿捻”一事由清政府另派钦差大臣接替。于是清政府命他南返仍任两江总督，由李鸿章来接替曾国藩继续镇压捻军。
六、洋务之父
19世纪60年代到90年代，以学习西方和“求强”、“求富”为旗号的洋务派，进行了内容繁多的洋务活动，如创办军事工业，兴办军事学校，开办民用工业、新式学堂等。曾国藩是最早进行洋务运动的，所以被人称作中国“洋务之父”、“近代化之父”。
清政府在两次鸦片战争中惨败，国事日非。于是曾国藩忧心忡忡，但他意识到中国要自强御敌，必须船坚炮利，而要船坚炮利一定要办洋务。在1860年12月19日的奏折中，曾国藩说道：“目前资夷力以助剿，得舒一时之忧。将来师夷智以造炮、船，尤可期永远之利。”此时，曾国藩已经喊出了兴办洋务的第一声。
中国首批赴美留学幼童合影清在洋务运动期间，共创办过二十多个军事工厂，而其中最早的就是曾国藩创办的安庆军械所。1861年，曾国藩在攻陷安庆后，便创办了安庆军械所，制造洋枪洋炮。因此，曾国藩成为洋务运动的领袖。
而曾国藩并不满足于制造枪炮。在他的支持下，1864年初，徐寿、华衡芳等人在安庆军械所造成了中国第一艘木质轮船“黄鹄”号。曾国藩十分高兴，计划“以次放大续造多只”。
攻陷天京之后，曾国藩将安庆军械所迁到了南京，但是没来得及办厂。1865年，容闳从美国买回机器，曾国藩与李鸿章在上海共同创办了洋务运动中规模最大的军事企业之一江南制造总局。
除了这些之外，1871年，曾国藩还与李鸿章联名奏请派幼童赴美留学，其中就包括詹天佑。这对我国以后派遣留学生产生了积极影响。
虽然曾国藩的洋务活动并不是很多，但是他却是创始者与带头人，所以，他在近代中国洋务运动史上占有重要地位。
七、抑郁而亡
曾国藩多年以来，视力微弱，常患晕眩之症。剿捻失败而回任两江总督之后诸事不顺，心情沮丧，忧思过度，身体愈衰。1869年又北上出任直隶总督，日理万机，更加劳累。1870年，右眼失明，更是雪上加霜。可是就在此时又发生了天津教案。
1860年，《北京条约》签订之后，法国天主教士在天津望海楼修建教堂，为显示其“慈善”、“文明”，还开办了“仁慈堂”，收养孤儿。但是该堂在1870年间不断发生婴儿失踪、死亡等事件。于是天津百姓与法国天主教之间发生冲突，打死了法国传教士丰大业等二十多人，并焚毁教堂等驻华机构。这就是天津教案。该事件完全是因法国传教士借传教之名欺压中国百姓所致。
案发后，列强向清政府抗议，并集结军舰示威。清政府于是派曾国藩处理此案。曾国藩屈于压力，完全答应了法国侵略者的要求，并让其任意逮捕八十余名无辜群众，重刑逼供，还决定由清政府派三口通商大臣崇厚去法国道歉。一时间，朝野皆指责曾国藩是汉奸、卖国贼。这令曾国藩深感难堪，倍加寒心。
1870年冬季，曾国藩在一片咒骂声中离开北京，回到南京，第三次就任两江总督。由于重病缠身，1872年3月12日，曾国藩病逝于两江总督衙门。
朝廷得知曾国藩病死任上，遂辍朝三月，追赠他为太傅，谥以文正，准入京城昭忠寺、贤良寺，并在原籍、南京等地建立专祠，将其生平事迹宣付国史馆，给予他汉族大臣最高的礼遇。