曾天养(1790~1854)广西桂平人，参加金田起义时已经六十多岁，但在太平军中，威名赫赫，有勇有谋，骁勇异常，无人能敌，被誉为“飞将军”，所率太平军被称为“虎头军”。他因功封为秋官正丞相，是太平军西征军的主要将领；参加西征后，在黄州堵城击溃清总督吴文镕全军，军威大振；为配合石祥祯攻湖南，连克岳州(岳阳)、常德、澧州(澧县)。太平军在湖南失利后，他退守岳州。
湘军经过整顿后，战斗力果然增强了许多。再加上曾国藩从两次败仗中也摸索出了一些用兵之道，所以这次出征非常顺利。自咸丰四年（公元1854年）五月曾国藩带兵从长沙出征以后，至七月一日，接连攻克了常德、澧州，接着就兵临岳州城下了。
曾国藩得知太平军在岳州加强了防务后，不再轻敌，先命塔齐布率领人马迅速赶到岳州城下，察看敌情；然后，让罗泽南、周凤山率军为后援，对岳州的太平军形成合围的态势。
咸丰四年六月三十日（公元1854年7月24日），两军会战，太平军再次失利，只好连夜从岳州撤出，退守城陵矶。
为什么原来所向披靡的太平军变成了扶不上墙的死狗了呢？这虽然和太平军内部出现腐败问题有关，但更主要的是士气问题。经历大败的太平军意识到：太平军也会失败，上帝不是万能的。信仰开始动摇，失败就在所难免了。
再次占领岳州后，曾国藩感到无比欣慰。看到能征善战的湘军接连收复失陷的城池，咸丰帝也极为高兴。他在上谕中褒奖了以曾国藩为首的湘军，并命令他们继续剿灭贼匪。
任何事情都不可能一帆风顺，瞬息万变的战场更是如此。虽然湘军一路顺风顺水，攻克了不少城池，但接下来便碰到了硬骨头。
此刻，太平军虽然屡次遭到失败，但仍然盘踞在城陵矶下游一带，又在汉口布置了数千只战船，连绵数十里。
城陵矶在岳州和武昌两地之间，是长江通往洞庭湖的一个极险要的军事要塞，易守难攻，自古以来就是兵家必争之地。
太平军占领城陵矶后，湘军接连攻打了几次，都不见成效。
当时担任城陵矶守卫的是太平军有勇有谋的老将曾天养，而攻打城陵矶的清军水师，有一部分是曾国藩组建的湘军水师，另外，还有陈辉龙、褚汝航、夏銮、李孟群各自统领的一营，加起来共有四千多名水师。这些人虽然归曾国藩管制，但这些水师船多械足，各个都牛气冲天，管理起来，自然没有湘军那么顺手。
因为大部队还没有完全到达岳州，所以曾国藩故意放慢了进攻的节奏，准备等军队全部到达后，集中优势兵力，一举拿下城陵矶。
但清军水师将领立功心切，极力怂恿曾国藩出兵。曾国藩以为这些水师瞅准了进攻的最佳时机，便没有阻拦。
七月十六日（8月9日），清军水师褚汝航、陈辉龙、夏銮、沙镇邦等人分别带领各自的水师向城陵矶进发。
刚开始，进攻还算顺利，轰毙数十名太平军，还烧毁了太平军的不少战船。这时突然刮起了大风，这是水师最忌讳的事情。陈辉龙等人因为杀得兴起，没把这些忌讳放在心上，反而乘风追击，一不小心，中了太平军的埋伏，进退两难，只能被动挨打。
结果，湘军惨败，褚汝航、陈辉龙、夏銮等几员大将都壮烈殉国，水师丧失大半，战船数十只或沉或降。等后援部队杨载福赶来，水师已经溃不成军，只好退回岳州防守。
清军水师在城陵矶打了败仗，没有足够丰富水师作战经验的曾国藩指挥不力，应该负有很大的责任。
这次水师失利，咸丰帝非常愤怒，严厉斥责了曾国藩。可生气归生气，现在清军水师伤亡殆尽，除了湘军的水师，咸丰帝再也没有可以利用的水师了。况且，除了湘军，他对绿营也不报多大希望。所以，在斥责之后，咸丰帝还得给这员爱将一些安慰，命他全力剿匪，不要因为一时受挫就观望不前。
虽然水师打了败仗，但曾国藩在这次水师失利中也得到了不少的好处：第一，这些清军水师统领壮烈殉国后，他便可以依靠湘军水师一统天下了；第二，他认识到在任何时候依靠别人是万万不行的，可以依靠的人只有自己。
水师失利，休整两天后，七月十八日（8月11日），曾国藩命令湘军陆师塔齐布进攻城陵矶。临行前，塔齐布立下了军令状，发誓一定拿下城陵矶。曾国藩也很焦急，毕竟水师已经失利了，如果陆师再失败的话，他真没有颜面面对咸丰帝了。
塔齐布是湘军中的一员猛将，善于骑战，精于马术，他是满洲镶黄旗人，依然保持着入关时那种剽悍气质。
第二十一前所未有的恶战
面对塔齐布的进攻，守城的曾天养率军抵抗，两军在城陵矶摆开架势，展开了前所未有的恶战。
塔齐布与曾天养都是两军中的善战拔尖人物，他们指挥的军队都不怕死，两军殊死冲杀，各不相让。
在恶战中，曾天养与塔齐布相遇了，两人拍马挺枪纠缠在一起，几番马去枪还，犹如古战场上的两员猛将，杀得两边的兵将都看直了眼。
城陵矶之战，曾天养遇上塔齐布，也算碰上了强敌。
英雄见英雄，应该惺惺相惜，可是，这是在战场上，不是你死就是我亡，所以，二人都杀得分外眼红。
激战了几个回合后，仍然不分胜败。曾天养怒睁豹眼，计上心来，虚晃一枪。而后突然刺中塔齐布的战马，一个颠扑，塔齐布几乎要摔下马来。
由于曾天养太专注于塔齐布了，竟然丝毫没有察觉到从后面包抄上来的湘军。就在塔齐布的战马被刺的一瞬间，曾天养背后被清兵猛刺一枪，当这一枪快刺中他的脊背时，才感觉到了危险。于是猛一回马，他人虽然躲过了这一枪，但坐骑却没那么幸运了，结果马蹶人倒。被打下战马的曾天养犹如虎落平阳，没招架几下，就被塔齐布挺矛刺中。一员虎将就这样战死在了沙场。
其实，塔齐布这一下赢得也不够光明磊落，本来是单挑的，怎么就跑出来帮忙的湘军了呢？如果没有这偷袭的湘军，谁胜谁负，还是个未知数。
不过，战场总归是战场，只要你胜利了，不管你采用了什么样的手段，你最终还是胜利者。为了这个结果，有时候卑鄙一些，又有何妨？
曾天养的牺牲是太平天国的重大损失，西征军听到这个噩耗后都失声痛哭。天王洪秀全听到这个消息后，也是悲痛万分，昭告天下，封曾天养为烈士，并号召全体太平军向他学习。
城陵矶的守城主将牺牲后，群龙无首，城内的太平军一下子也没有了斗志，只好败退到了武昌。
兵临武昌城下
攻克城陵矶，塔齐布功不可没，被记了头功。
在战场上，士气非常重要，如果士气高涨，会取得意想不到的胜利，所以，曾国藩毫不客气，带着嗷嗷叫的水陆湘军乘胜追击。
湘军一路杀来，各个扬眉吐气，不可一世。
在进军武昌的过程中，《曾文正公杂着》中这样写道：“直以血肉之躯，植立船头，可避则避之，不可避者听之。”
湘军的确是这样做的，尤其是水师，他们大摇大摆地站在船舱外面，有的甚至不穿战甲，露着黝黑发亮的胸膛，全然不顾会有中弹的危险，一路顺水直抵武昌城外十里的金口。
陆师也由岳州出发，一路上偶尔碰到几个放冷枪的太平军，没遇到什么像样的抵抗，经蒲圻、咸宁、山坡、纸坊，直达洪山一带。
接连的胜利让湘军有了狂傲的资本，湘军本身就是一支带有军阀性质的军队，太平军在他们眼中只是升官发财的阶梯，只要能把太平军踩在脚下，他们什么事都能做得出来。
而曾国藩对这种近乎疯狂的嗜血行为没有制止，因为他除了拥有一个二品大员的头衔和湘军外，就什么也没有了，而湘军是他唯一实在的资本，只要湘军有高昂的战斗力，自己在咸丰帝和文武百官面前就能挺直腰板。
而此时的大清王朝也只有靠湘军来稳固江山了，对湘军自然是呵护有加，所以，有了咸丰帝撑腰的湘军才如此不可一世。
等水陆两师都就位后，曾国藩便召集众将，商议攻城的策略。
罗泽南说：“花园的太平军有精兵两万，设有三座大营，如果攻取洪山，花园太平军一定前去援助，到时候，我们腹背受敌，就不好应付了。”
“怕什么，来一个杀一个，来两个杀一对。”
“对，我军士气正旺，还怕这些长毛不成？”
“……”
曾国藩制止了吵吵的将领，问罗泽南有什么好计策。
罗泽南不紧不慢地说：“陆路分兵两路，一路攻洪山；一路攻花园。”
柿子专拣软的捏，曾国藩向来喜欢集中优势兵力，攻击一点。他也尝到了这种重拳出击的甜头，所以对罗泽南的建议不太感冒。他倾向于先拿下防守兵力不多的洪山。
但罗泽南却请求自任前锋，先攻花园，其他陆师堵住洪山的太平军，协助他攻克花园。这样，武昌就成为了孤城。
老部下战前请命，怎么说也不能驳了老朋友的面子，再说，先攻打哪里并不是十分重要，胜利的结果才是最重要的。
于是，曾国藩同意了罗泽南的作战计划。
咸丰四年八月二十一日（公元1854年10月12日），罗泽南指挥军队进攻花园的守军，接连攻克了三座大营。第二天，罗泽南率军继续前进攻打鲶鱼套。在湘军凌厉的攻势下，两万太平军几乎不战而溃。
而后完成阻击任务的塔齐布也率军进攻洪山。洪山守军起初还坚决抵抗，在得知花园的太平军溃败后，军心便开始涣散，不久就纷纷跳湖奔逃，投降的也有一千多人，洪山也被攻克了。
就这样，湘军顺利地兵临武昌城下了。
武昌是长江上游的重镇，战略位置相当重要，当年太平军就是攻下了武昌以后，沿长江北上一路打到了金陵，建立了太平天国。如果能打下武昌，那么直捣太平天国的首府天京，就是指日可待的事了。
想到这里，站在武昌城外的曾国藩真恨不得一口把武昌吃进肚子里。
太平军武昌守将为黄再兴、石凤魁、韦以德等人。这些人或是文员，或是国宗，对战事一窍不通。当湘军水陆北上浩浩荡荡到达金口时，国宗韦以德便逃离了武昌。
守将如此，在武昌驻守的两万多名太平军也好不到哪里去。虽然有几千只船舰，武昌城外也修筑了坚固的防御工程，但这些船舰都是由民船改装而成，不适合作战，在湘军水师眼里就是一堆柴火而已。再加上没有有经验的将领带头，已经遭到两次惨败的太平军，士气不是一般地低落。
而城外湘军的情况则恰好相反，总兵力在两万左右，武器装备也很精良，而且各个都杀红了眼，保持着旺盛的战斗力。
黄、石等人毫无指挥的才能，官兵也悲观失望，在太平军失陷花园、洪山的第二天夜里，便弃城逃走，把两万多太平军扔给了湘军，也把重镇武昌轻易地丢给了湘军。
汉水里的大批船只、数千水军及城里的守卫部队都没有得到撤退的消息。当湘军攻城时，没有将领指挥的守军如没头的苍蝇，乱跑乱撞。湘军登上城墙，打开城门，一涌而入。凶猛的湘军见人便杀，见财物就枪。一时间，武昌城内的太平军尸横满街，血水成河；而留在武昌城内的太平军老幼妇孺也都惨死在了湘军的屠刀之下。
在湘军水师的围攻下，太平军的数千只船舰也无一能够幸免，有的被烧毁，有的被击沉，太平军水师受到毁灭性打击。
战争历来都是和残酷不分家的，也许只有在仁义之师的对决中，才会有俘虏这个名词。而在湘军的字典中，只有一个字，杀，与湘军对决失败后，如果你不自尽。湘军也会帮你自尽，湘军不会给对手任何苟且偷生的机会。
此时，站在武昌城上的曾国藩，满眼都是太平军的还略带体温的尸体，在他心中没有丝毫的怜悯。从衡州誓师那天起，曾国藩便把怜悯藏在了自己内心的最深处。毕竟，战争是无情的，你对敌人的怜悯只会换来敌人更加疯狂的报复。所以，曾国藩和他的湘军选择了“杀”这把极端利器。
短短的几天时间，湘军便以极小的代价换来了武昌重镇，实在出乎所有人的意料。咸丰收到捷报后，高兴得在朝堂放声大笑。曾国藩作为一个连鸡都不敢杀的文官，率领编练不满一年的湘军，竟然攻克了武昌，收复两湖大部分失地。
极度喜悦的咸丰帝看完奏报后，立即下旨，任命曾国藩为湖北巡抚，随后，又下旨封赏湘军其他将领。
胡林翼升为湖北按察使，罗泽南为浙江宁绍台道，彭玉麟为广东惠潮嘉道，杨载福任常德协副将，鲍超升为参将，李元度、李续宾、郭嵩焘、刘蓉、陈士杰等人都有升迁。
古有：一将功成万骨枯，如今湘军用太平军的鲜血换来了升官发财，湘军的目的达到了。
正当湘军上下兴高采烈、喜庆荣升之时，咸丰帝又追加了一道圣旨弄得众人晕头转向：“曾国藩着赏给兵部侍郎衔，办理军务，毋庸署理湖北巡抚。陶恩培着补授湖北巡抚，未到任之前，湖北巡抚着杨霈兼署。曾国藩、塔齐布立即整师东下，不得延误。”（出自《曾文正公奏稿》）
湘军立了这么大的功，而身为主帅的曾国藩的官职却半点未动，许多湘军将士都想不通。究其原因，咸丰帝是在遵奉大清祖训，即不肯把地方督抚大权交给手握兵权的汉人控制。
好在曾国藩对此早就有所准备，才不至于过度失落。其实，他早就把咸丰帝看透了，只是没有想到，咸丰帝会如此赤裸裸地表现出来。