曾国藩与他们过从甚密，不时向他们请教。唐鉴告诉他：读书明理，"当以朱子全书为宗。修身养性要在‘静’字上下功夫。倭仁更是十分注意修身，每天都写札记，记下自己的言行。曾国藩深受他们的影响，每天坚持写日记，以朱子全书为日课，每天安排课程和作息。包括：早起、静坐、养气、保身、读书、作字等。但曾国藩并不局限于理学，他详览史籍，探求“经世致用”之学，在学习中注重“考信于载籍，问途于已经，苦思以求其通，躬行以试其效”。在工作上。他也能勤于职守，办事谨慎，因而颇受员司、同僚钦佩。当朝大学士穆彰阿是他的座师，对他颇为器重。
道光朝政治风气柔靡，如江河日下，官吏多数不负责任．以圆滑弥缝为做官之诀窍。由于贪官污吏的迫害，广大人民大众无日不在水深火热之中挣扎。就在太平天国运动爆发并呈星火燎原之势时，道光皇帝驾崩，咸丰继位。下旨群臣就如何重振朝纲详议具奏。曾国藩应诏连续上呈了四个奏折。
其中第一折《应诏陈言疏》中提及天下有三大患及解决办法，认为解决人才问题是"当前关键之所在。在《议汰兵疏》中则揭露清代八旗、绿营军“兵位不精”，长官坐吃空额等诸多弊端，建议清廷裁军。曾国藩的这一建议虽未被清廷采纳，但却表明了曾国藩对当时军队不满，试图革除其弊端的愿望。
这对曾氏日后以组练湘军而著称于世打下了一定的思想基础。
最著称一时的奏折则为《敬陈圣德三端，预防流弊疏》，在此疏中，曾国藩对当时的政治风尚及皇帝个性，痛下针砭．称得上是犯颜直谏。倘若咸丰皇帝因此而龙颜大怒，曾氏命运真是不堪设想。据说咸丰帝初见此疏时，确曾大为震怒，将之掷到地上并欲对曾国藩重加惩治。但经过一番深思熟虑之后．他不仅不加治罪，反而降旨褒奖曾国藩之敢言，命兼署刑部侍郎。自此咸丰皇帝脑海中对曾国藩之耿直忠心，敢言大事留下了深刻的印象。此后，曾氏还上了《备陈民间疾苦疏》，要求清廷采取措施解决民间疾苦，防止民心涣散。结果却被清廷漠然视之。曾国藩对此大为失望。不久曾被派往江西主考乡试，途中得讯母亲亡故，即赶奔家乡，回籍守制。
1851年，洪秀全在广西金田发动起义，太平军队伍很快就发展壮大起来。这引起了清廷的极大震惊。清朝统治者慌忙调兵遣将，力图剿灭这支农民起义队伍。无奈清朝的八旗、绿营此时早已腐败不堪，难以为战。太平军接连打破清军的围追堵截，一路势如破竹。1853年1月，太平军攻克武昌，势力大增。3月攻克江宁（即南京），并定为国都，更名天京。
仅用了两年多的功夫，太平军便取得了如此重大的胜利。咸丰帝只得谕令大江南北在籍官绅组织地方团练协助清军作战，维护地方秩序。曾国藩受命会同湖南巡抚张亮基办理团练。
经过好友郭崇焘的大力劝说与敦促，曾国藩顾不得母丧未满，开始积极地办理团练，编练湘军。
当时奉旨督办团练的清廷大员，实不止曾国藩一人，办团练的省份，也不光湖南一省。然而最终独曾国藩所练湘军最为出名，成为太平天国最难对付的敌人。之所以如此，显然离不开曾国藩本人的一番苦心谋划与惨淡经营。湖南湘军在曾国藩的同乡好友罗泽南所募练的千余名湘勇的基础上，复经曾国藩本人亲自招募扩展，统一编练而成。因而具有鲜明的特征，与他省所办团练迥然不同。
曾国藩组练的湘军具有以下特点：
1．士兵：不收游卒，不要城市壮丁，只择乡民壮健朴实者，以其易于训练制驭：不染习气。
2．军官：多从同乡、同学、师生、亲友中聘任。都是孔孟儒家思想的忠实信徒，以“忠君”、“卫道”相标榜。尤其是各营营官，要求不怕死，不图名，智勇深沉。
3．招募办法：先聘营官，再由营官自己招募兵士。使士兵均对其营官心存感激，营官对统帅（即曾国藩本人）死心塌地，感恩戴德。以封建家法关系作为维系湘军的纽带，建立起严格的封建隶属关系。
4．编制：360人为一营（后增为500人），营分四哨，哨分八队，每队正勇为10—12名，数营设一统领，独挡一方。
水师每营388人，分船长、炮手、篙手、舵手、桨手等，各有定制。军官不得坐吃空额。
5．教育：曾国藩为了训练出一支有别于八旗绿营的劲旅．十分重视教以官兵“忠义之气”，随时向士兵灌输忠君卫道思想。战时强调齐心协力。部队军纪严明，行止一致。
6．军饷：湘军粮饷来源，初由募捐，后来源于税收，尤其是厘金收入。粮饷一般要比绿营军高，故士卒乐于用命。
几经训练，曾国藩终于编练出了一支所谓“诸将一心，士兵一气”的军队，在晚清军事史上独树一帜。这支军队很快成为太平天国运动的刽子手、满清王朝专制统治的坚强支柱。为了获取满洲贵族的信任，曾国藩力荐满人塔齐布为湘军大将，荐举多隆阿为湖北湘军将领，隶胡林翼部。至咸丰四年（1854年）二月湘军出战时，兵力已达一万人，水、陆军各五千，加上其他人等，共计1．7万余人。
1854年2月，曾国藩发布《讨粤匪檄》，攻击太平天国士兵到处烧杀抢掠，荼毒生灵，并大肆渲染太平军信仰拜上帝教，禁读孔盂书籍，破坏神堂庙宇，“举中国数千年礼义人伦诗书典籍一旦扫地荡尽”，动员一切反动势力尤其封建知识分子起来镇压太平天国革命运动。曾国藩高举起忠君卫道的旗帜，在当时产生了较大的影响。
初次出兵，曾国藩不免踌躇满志，大有不可一世之气概。
然而他在战场上却并不如意。太平天国运动初期，天朝内部团结，士兵革命热情高涨，斗志旺盛，所到之处，深受广大民众的支持和拥护。因而曾国藩的湘军并不是对手。湘军出师后与太平军首战于岳州，一触即溃。曾国藩在靖港亲督水师与太平军对阵，也遭惨败，水师几乎全军覆没。曾国藩本人羞愤交加，投水欲死，被随从捞起。接着他用了近三个月时间重整旗鼓，修造战船，再次出击，并攻陷岳州，初步扭转了战局。十月，又经激战，攻取武汉三镇，朝廷赏加给他兵部侍郎衔。曾国藩继而率师东下，攻破太平军水上要塞田家镇。咸丰五年（1855年）一月，湘军进逼九江。曾国藩气焰又变得嚣张起来，企图“肃清江西，直捣金陵”。
面临这一局面，太平天国立即派遣富于军事才干的翼王石达开为统帅，率师西援。两军对峙于湖口、九江一带。曾国藩军队久攻不克，粮饷接济也日益困难，内心焦躁不安。
石达开机智地利用曾氏急于求战的心理，故意疏忽由湖口通向鄱阳湖的防备。曾国藩果然上当，竞派水师快船驶入鄱阳湖。企图打通同南昌的联系，威胁太平军后路。曾氏快船刚入鄱阳湖，石达开立即封锁湖口江卡水关，将曾国藩赖以横冲直撞的水师隔为两段。江面上的湘军水师船只大而笨重，行动不便，遭到太平军猛烈焚烧、攻击。是役，湘军水师损失惨重，百余艘战船被焚毁。曾国藩的坐船也遭受突袭而成为太平军的战利品。两次出师，均损兵折将，曾氏本人也受到清朝地方官吏、士绅们的讥讽、嘲笑。恼羞之下，他又一次投水寻死，被官佐拉起。太平军迅速展开反攻，旋克武汉三镇。曾国藩退守南昌，当时江西有五十多个州县均被太平军所控制，曾国藩处在太平军的重重包围之中，成了瓮中之鳖。此时假若太平军一鼓作气攻取南昌，生擒活捉曾国藩易如反掌。可惜太平天国当时并未将捉拿曾国藩作为自己最重要的战略目标，而是忙于四处攻城掠地。不久，石达开奉命率军解天京之围。曾国藩因此获得了一条生路。太平军此次失机，无疑是一次重大失误。
到1856年上半年，除北伐战争受挫外，太平军取得重大胜利。通过西征，在长江中下游控制了从武昌、九江、安庆到镇江等沿江重要城市，安徽、江西、湖北东部、江苏部分地区也掌握在太平天国手中。在天京外围，太平军打跨了清军的江北大营和江南大营，从而达到了军事上最光辉的鼎盛时期。可惜好景不长，就在这时，太平天国领导集团内部爆发了内讧，为争权夺利而导致了严重的自相残杀。东王杨秀清企图谋反遭到杀害，所部2万多名骨干将士因韦昌辉的滥杀而倒在了血泊中。翼王石达开不满韦昌辉的滥杀、株连。
洪秀全在天京军民要求下处死韦昌辉、秦日纲。石达开被拥戴主持政务，却又遭洪秀全疑忌、排挤，愤而带兵出走，走上了分裂的道路。太平天国力量受到严重削弱。太平天国的悲剧无疑给曾国藩提供了镇压革命运动的大好时机。
威丰六年（1856年）年底，曾国潘指挥湘军趁太平天国力量削弱之机，组织反攻，再次攻取了武汉，在湖北巡抚胡林翼的支持下，建立起了巩固的后方。咸丰八年（1858年）五月，他率军占领九江。致使守卫天京门户的太平军军亨重镇安庆完全暴露在湘军的进攻面前。大敌当前，洪秀全大胆起用了青年将领陈玉成、李秀成等来挽救危局。
1895年9月，陈玉成、李秀成率军第二次大破江北大营，清军全线溃败。11月，陈玉成率部神速地包围三河城外湘军悍将李续宜部，并发动猛列攻击。李秀成也从江南率军助攻，太平军三河守军从城内杀出，里应外合，三面夹击，一举全歼李续宜所部湘军精锐6000余人。李续宜和曾国藩的弟弟曾国华，同被击毙。曾国藩不禁哀叹：“三河败后，元气大伤”因而为之减食数日。
太平军挫败了湘军的攻势，稳定了在皖、赣两省的战局。
1860年5月，李秀成与陈玉成率部再次击溃江南大营，挺进苏、浙，清朝富庶之地受到严重威胁。
但使咸丰帝更感威胁的是：此时江南清廷嫡系部队八旗绿营已被消灭殆尽，再也无力抵抗太平军的攻势。湘军虽受重创。但毕竟实力尚存。因此咸丰帝不得不把全部希望寄托在曾国藩的身上。1860年6月8日，清廷上谕加曾国藩尚书衔，署理两江总督，8月又改为实授，并任命曾国藩为钦差大臣，督办江南军务，节制大江南北水陆各军。这样，曾国藩终于大权在握，得以调动一切力量，统筹全局，展开对太平天国的全面进攻。
这时，第二次鸦片战争结束，清政府接受了侵略者强加给中国的屈辱和约，侵略者纷纷表示“愿为中国攻剿‘发逆（指清廷对太平天国将士的污称）”，中外统治者开始勾结起来了，形势对太平天国更为不利。
1860年8月，曾国藩调兵遣将，集中水陆军队8万余人，向安庆发动猛烈攻势。为了解安庆之围，太平军决定由李秀成、陈玉成率南、北两路大军，沿长江西上，合取武汉。以“围魏救赵”之计，迫敌回援。
太平军这一军事计划大出曾国藩意料之外。11月李秀成率军从苏南出发，12月到达安徽黟县。距曾国藩祁门老营仅80里。此时湘军主力已全部被调至皖北，祁门老营兵力十分单薄。祁门位于群山之中，地形如釜底，太平军如果大力进攻，曾国藩势必无路可逃。据说曾国藩也自度必死，写好了遗书，帐悬佩刀，随时做好了自杀的准备，其幕府中不少人也开始自谋出路，准备逃命。然而，李秀成判断失误，居然没有决定拿下祁门，趁机端掉曾国藩的祁门老营，而率军绕过祁门，从徽州经浙江仍然回到江西去了。曾国藩又一次得以绝处逢生。
李秀成军队中途折回江西，陈玉成率军攻打武汉，又因外国侵略者的军舰阻挠而未奏效。太平军合取武汉以解安庆之围的军事计划流产了。不得已，陈玉成率部回援安庆，在安庆外围同湘军展开包围与反包围的殊死决战。这样，曾国藩死死咬住安庆不放，迫使太平军来援，以逸待劳，以静制动。他的战略图谋终于得逞了。经过双方激烈地争夺，曾国藩的九弟曾国荃所部湘军攻陷了安庆。天京屏障尽失。11月曾国藩奉旨督办苏、浙、皖、赣四省军务。次年6月，太平军后期优秀将领英王陈玉成因叛徒出卖，死在湘军屠刀之下。
湘军攻陷安庆后，曾国藩即移营坐镇安庆指挥。他派兵分三路向太平天国发起进攻：由曾国荃主力进围天京；左宗棠率军进取浙江；李鸿章另组建淮军保守上海并进攻江苏南部地区。曾国藩考虑到天京城池深广险固，一时难以突破，且太平军在江浙一带尚有一定势力，为了避免陷于太平军的反包围，重蹈三河覆辙，他命令曾国荃军队对天京围而不攻，隔断天京城与江浙地区太平军的联系，坐待左宗棠、李鸿章两军扫清江浙，然后再由曾国荃率主力攻克天京，一举成功。
曾国藩这一计划的确可以称得上是老谋深算。这时，洪秀全晚年暮气已深，迷信太甚，听不进李秀成提出的“让城别走，机动发展”的正确意见，一意死守天京，并幻想有天父相助。
太平军战士的战斗力也已大不如昔了。同治元年（1862年）十月，李秀成、李世贤率部20余万人猛攻驻扎在雨花台的曾国荃军队。此时曾国荃所部湘军仅3万余人，且正值疾疫流行。士卒多病。曾国荃根据曾国藩“缩营自保”的战术，深沟高垒，坚守顽抗达四十六天之久，太平军始终未能攻破湘军营垒，后因军粮不继而被迫撤军。至此，太平军突破湘军天京之围的军事行动以失败而告终，再也无力发动第二次攻势了。
同治元年（1862年）至三年（1864年），左宗棠在英法侵略军的协助下，攻下杭州，控制了整个浙江。同治二年（1863年）至同治三年（1864年），李鸿章在戈登“常胜军”的支援下，连克无锡、苏州、常州，控制了上海和苏南。天京已成为一座孤城，完全陷于了清军的重重包围之中。1864年6月3日，洪秀全病死。为了独吞战胜的果实，7月19日，曾国荃督部疯狂进攻，天京城破。湘军进入天京后，实行了野蛮屠杀和抢掠，“秦淮河尸首如麻”。忠王李秀成被俘，在写完几万言的供词后，即被曾国藩杀害灭口，以掩盖湘军在天京大肆抢掠的罪行。不久幼天王和洪仁王干在江西被捕杀。
曾国藩挽救清朝统治，镇压太平天国运动的梦想终于实现了。
湘军与太平军作战共达12年之久。湘军由初战失败到最后胜利，其间绝不是一帆风顺的。曾国藩本人也几经危机．险些丢掉性命。
即使在政坛上，曾国藩也远非一帆风顺。尽管他本人对清政府一直忠心耿耿，但清廷和满洲贵族对他却始终疑忌重重。清朝自满族入主中原，军政大权一向操纵在满族贵族手里。统治者对汉人实力的兴起十分警惕。咸丰四年（1854年），曾国藩率湘军攻陷武汉时，咸丰帝大为高兴，对群臣说：“想不到曾国藩一个书生，还能建此巨功大勋。”汉军大臣机祁高藻当即献媚道：曾国藩一个在籍侍郎，只是一个独夫，一个独夫在乡里居然一呼而从者万人，恐不是国家的福份。咸丰被他提醒，脸色突变。从此不敢轻易给曾国藩实权。