曾国藩和湘军从一开始就注定成为19世纪中国的一个最重要的文化现象一一这可以说是历史上一支真正由读书人领导的军队，是在乱世中一群书生“投笔从戎”所组建的人马。这群读书人挺身而出的最大使命，就是为了扞卫中国传统文化。太平天国对于孔孟的态度，让他们为之激愤，也正如此，让他们立下了“上马杀贼，下马读书”的誓言；至于效忠朝廷等，倒成了次要的目的。在曾国藩、胡林翼、左宗棠等一帮程朱理学的忠实信徒看来，太平天国所提倡的“拜上帝教”等，其实就是西方文化妖魔化的体现，是直接违背“天理”的，而他们有责任和义务在这样的生死抉择中承担自己的使命。正因如此，这支颇有湖南士林风气的儒生在后来艰苦卓绝的生死绝杀中，屡遭挫折而不馁，表现出了与叛道者誓不共存的殉道精神。
秋天到来的时候，曾国藩的湘军队伍已发展到十营六千人。现在，这已不是一支五花八门的杂牌民兵了，而是一支军队，并且，是曾国藩赋予理想和追求的一支部队。曾国藩在为这支湘军设计建制时，脑子里闪现的是明朝名将戚继光的容颜。的确，在数百年历史当中，戚家军是最具战斗力的一支队伍，它不仅有严明的纪律，而且，还有很多军事上的创举，在军事思想上也比较先进。曾国藩细细地研究了戚家军的组成方式、纪律以及作战策略等，以戚家军的模式对湘军进行整编，改革军制一以营为基本战斗单位，拟定营规、饷章等等。这支部队一个贯穿始终的指导思想是：它只隶属和服从曾国藩一人，只有曾国藩，才是这支军队真正的国王。
当然，让这个“国王”念念不忘的还是儒学的“仁”和“理”，从一开始，曾国藩就赋予了这支部队很多卫道的特质。这也决定了湘军后来的特点一这支部队有很多看起来很奇怪的做法：不仅仅以军纪营规约束士兵，还用讲学的方法来教化士兵；不单单是贯彻军事思想，还一点一滴地教士兵如何做人。每天早晨，曾国藩都会早早地巡营！认真观察军士们操练！有时候！他还要把将士们聚集在一起！耐心地讲解时局和道理。在曾国藩看来，这些做人的道理比军事本领更为重要！必须“老僧常谈”，要天天讲，月月讲。曾国藩还把理学中的“仁”、“诚”、“礼”等道德原则引入治军之中。“仁”就是要官长用仁爱之心来调节与士兵的关系，使他们心甘情愿地出力；“诚”就是把忠君诚心的政治品质作为选将的要义广礼”则是湘军中要有上下尊卑的关系以及严明的纪律。值得一提的是，这支部队的“国王”曾国藩以他自己独创的方式，亲自为这支部队创作了很多琅琅上口的歌谣，以此作为对这支由书生、农民以及社会闲散人员所组成的临时军队的教化：
比如说《莫逃走》：
我境大家要保全，切记不可听谣言。
任凭谣言风浪起，我们稳坐钓鱼船。
冢安稳不吃惊，大冢太平不躲兵。一人当事不害怕，百人心中有柄把。本乡本土总不离，立定主意不改移。地方公事齐心办，大家吃碗安乐饭。
为了使湘军们训练得法，作战有素，曾国藩写下了《操武艺》：
白日无闲不能学，夜里学习也快乐。
临到场上看大操，个个显出手段高。
各有义胆与忠肝，家家户户保平安。
曾国藩认为，道德层面的凝聚力对湘军建设尤为关键，于是在湘军中推广这首《要齐心》歌谣：
只要齐心不可当。一家不及十家强。我家有事你来帮。扶起篱笆便是墙。你向西来我向东。贫者却愿大家穷。不肯周济半毫分。但愿世界遭抢劫。彼此有事不相管。也是丢开不管他。城隍土地都烦恼。不分好歹一笔扫。贫者饭碗也难保。大家齐心共努力。家家向前作救兵。各种人情各还礼。此时也要解开结。此时也要和一场。都是亲戚与朋友。千人合做一双手。富家量力略周旋。
邻境土匪不怕他，恶龙难斗地头蛇。
个个齐心的伙伴，关帝庙前立誓愿。
若有一人心不诚，举头三尺有神明。
纪律严明’是打胜仗的保证，在同太平天国作战的过程中，曾国藩反复告诫属下切勿扰民：
第六不杀旧官兵，被贼围捉也原情。
第七不杀贼探子，也有愚民被驱使。
第八不杀捆送人，也防乡团捆难民。
人人不杀都胆壮，各各逃生寻去向。
贼要聚来我要做，贼要掳来我要放。
每人给张免死牌，保你千妥又万当。
往年在家犯过罪，从今再不算前账。
不许县官问陈案，不许仇人告旧状。
一家骨肉再团圆，九重皇恩真浩荡。
一言普告州和县，再告兵勇与团练。
若遇胁从难民归，莫抢银钱莫剥衣。
曾国藩的湘军就是这样“不伦不类”。这支人员结构复杂的军队就是以这种独特的方式！投入了这场战争！与另外一支同样也堪称“不伦不类”的太平军！进行生死殊杀。
当然，湘军的创办从一开始就不是一帆风顺的。在地方上，湘军还没有成形，各式各样的阻挠就已经出现了一一那些平庸的巡抚、布政司和按察司们，他们一直试图掣肘曾国藩！在他们的阻挠下，曾国藩的每一次行动，都显得艰涩而困难。这些大大小小的官吏们既胆小怕死，又怯懦怕事，但他们都有一副忠于职守、老实忠厚的面具。对于他们来说，再也没有比在唯唯诺诺的面具下遮掩妒贤嫉能的实质而感到更有乐趣了。这些人掌握粮食和供给，从一开始，他们就不断给曾国藩出难题。曾国藩在长沙招兵买马时，那些打仗怕死的绿营兵甚至闯进了曾国藩的大营，差一点跟曾国藩的兵勇打了起来。为了顾全大局，曾国藩只好将自己的湘军移至衡阳，避免跟绿营直接接触，全力训练自己的部队。
创办之初，最让曾国藩伤脑筋的是清朝的军事补给制度。清朝在夺得政权后，各方面都沿用明朝制度，明朝体制的很多短处，清朝仍旧没有改变！相反还变本加厉。清朝的军事供应和政事参合为一元，军队的粮饷补给，不是来自中央财政，而是来源于地方政府的零碎供应。按理说，户部是国家财政的中枢，应该统筹全局，但实际上户部却等同于一个大型的会计机构，只是在账目上监督各个机关和各地方政府的出纳。各个地方政府按照规定的数额把给养直接运送到各个军事单位。在供给上，各级政府各自为政，有的就干脆采取拖延的方式。这种军事供给方式，给部队的统筹带来了巨大的困难。曾国藩的湘军在供给上面临的问题就更大了，因为湘军还不算是朝廷的正规军。在这样的情况下，身为钦差大臣的曾国藩最费精力的一件事就是，不得不硬着头皮与各式各样的大小官吏打交道，软硬兼施，才能得到不足额的供给。
各种困难的遭遇让曾国藩对于清朝的现实状况有一个透彻的了解，对于这种制度的本质，曾国藩看得比先前清楚得多。曾国藩豁然明白了一个现实，那就是，中国千百年一直奉行的是文官制度，在这种制度下，那种知识的优越感以及在这种制度下享受的便利，使得中国的精英以及社会普遍意识对于军事将领和士兵，一直心存鄙视。从制度上来说，朝廷军队的军饷和给养都是由地方发放的，这使得军队在很大程度上对那些手握地方大权的文官们异常依赖。很多时候，这些掌权的文官政府密切监视军队的动向！施展他们高深的学识！安插亲信，组织派系！甚至引发军队的内讧！从而将武装力量牢牢地掌控在自己手中。千百年来，没有人真正地把军队当回事，真正地把军队当作国家的武装力量来经营，或者在权力和制度上给予它们保护。这种政权本身，已习惯于对军队进行打压，这样的打压，完全不是由于个人的喜好，而是一种整体的存在状态。不仅如此，中国文化对于武装势力在骨子里也是排斥的，在民间！一直以来，人们崇尚的只是传奇，而不是英雄。那些曾经的英雄，在最受民间欢迎的话本和说唱中，慢慢演变为纯粹的传奇，变成脱离实际的传说。至于真正的英雄是怎么回事，人们并不真正地感兴趣。由于缺乏真正的英雄意识以及荣誉感，一直以来，只是那些卑劣和懦弱的人在参加战斗，在执掌这部分力量。这些当兵的人既不是出于爱国的热情，也不是为了效忠皇帝和追求荣誉，仅仅是为了维持自己及家人的生计。这种现实和传统的存在，让军士们并没有一种荣耀感，也让军队失去分量，从而造就偌大一个帝国的羸弱，让一个国家失去坚强的支柱，只剩下徒有其表的光鲜面目。
对于事物本质的探究和洞察，使得曾国藩的处事方法发生了根本性的变化，加上形势越来越急迫，到了衡阳之后，一直主张“温良恭俭让”的曾国藩舍弃了打仗最为忌讳的“妇人之仁”，他开始变得冷酷，变得焦躁，变得听不得别人的不同意见。这个后来被称为“曾剃头”的书生行事残酷而暴烈，他开始疯狂镇压当时一切不稳定因素，对于周边地方的一些小叛乱，也大开杀戒。同时，曾国藩带领自己的部下不顾一切地征收粮食，掠夺那些危险的大户，对军饷展开近乎疯狂地攫取。当然，这当中，还有一些是对上峰命令的不服从甚至抗拒。在曾国藩看来，一切都是火烧眉毛，这支部队在没有完全训练成形之前，拒绝一切战斗。曾国藩在衡阳的那段时间，正是太平军西征军沿着长江沿岸攻城掠寨之时，那些八旗和绿营部队闻风丧胆，大小城市一个又一个被攻占，平日里享惯了洪福的官宦老爷们不断地遭受灭顶之灾。对于清廷来说，在广大的南方地区，唯一的救命稻草，就是曾国藩手中的这一支部队了。大大小小的官员们纷纷请求曾国藩早日出战，救他们于水火之中。来自各方的信件像雪片似的飞来，曾国藩坚决地不予理睬，他一直按兵不动，全力在衡阳练兵。后来，连京城的咸丰皇帝也坐不住了，下旨令湘军参战，并且在上谕中批评曾国藩平时自以为了不起，关键时候，得做出点样子来。曾国藩仍旧不予理会。这当中，曾国藩甚至冷酷地拒绝了朝廷让他火速调兵赴皖解救江忠源的任务。江忠源是曾国藩的莫逆之交，也算是他的弟子。创办湘军初期，江忠源即跟随曾国藩左右。不久，江忠源被朝廷调到危险的战争前沿，任安徽巡抚。由于孤军深人，江忠源被太平军团团包围在庐州。1853年底，朝廷命刚刚组建的湘军火速北上解围。曾国藩拒绝了。在曾国藩看来，这支刚刚组建的湘军火候完全不到，况且，湘军所购买的火炮、火枪等武器未到，此时轻易冒进，无异于集体送死一一1854年1月，孤立无援的庐州城破，江忠源跳水自杀，年仅四十二岁。
理解曾国藩此举的只有他的恩师吴文熔，吴文熔曾是曾国藩的座师，时任湖广总督，湖北战斗激烈之时，吴文熔督师黄州，太平军攻城非常猛烈，很多人劝吴文熔赶快向曾国藩求救。深知曾国藩性格的吴文熔只好给曾国藩写了一封信，在信中，吴文熔更担心的是弟子的迫于形势、仓促行事：
吾意坚守，待君东下，自是正办。今为人所逼，以一死报国，无复他望。君所练水陆各军，必俟稍有把握，然后可以出而应敌。不可以因吾故，率尔东下。东南一局，恃君一人，务以持重为意。恐此后无有继者，吾与君所处固不同也。
曾国藩接到来信之后，深为感动，也深为忧郁，但他坚持不发兵，全身心地投人到部队尤其是湘军水师的训练之中。很快，消息传来，黄州失守，吴文熔战死。
在那段时间里，一方面，曾国藩全力将一支以农民为主的部队训练成一支铁血之师；另一方面，他奏请截取了存放在长沙的、由广东解往江南大营的四万两饷银，以犒劳自己的军队。鉴于太平军在长江有一支庞大的水师，并控制着武汉到金陵的长江水域，曾国藩听取了郭嵩焘的意见，在建陆营的同时，全力建立一支水师军队。在衡阳，曾国藩设立船厂，日夜兴工赶造战船，并派人赴广东向洋人购买枪炮；不久，又在湘潭设立分厂，加快造船速度。到了1854年2月，衡阳船厂建成，曾国藩很快制造出快蟹四十只、长龙五十只、大舢板一百五十只、拖船五只、铁甲指挥船一只；然后，又购买了民船数百艘，将它们改为兵船或辎重船，配备西洋大炮和新式火炮。曾国藩的座船“苍龙号”更是建造得非常坚固，里外都用铁甲包裹！船头配八千斤西洋重炮三门，船尾置六千斤西洋快炮三门；两舷各有快炮五门，还配备火箭炮一门，新式步枪两百支。可以说，湘军的水师装备，在当时已算相当先进了。就这样，曾国藩的湘军水师终于组建完毕，总兵力为五千人，分为十个营。