此时、蒋介石也加紧向第九站区增兵，电令薛岳拿出会战方案，做好积极的准备。在第三、四、六战区的支持配和下，第九战区集结了近40万兵力。在兵力部署上，将领之间却发生了分歧，以第九战区代理参谋长赵子立为首者认为，此次日军进攻规模空前，加上有三战长沙得失的教训，故应该采取新的战法。而以薛岳为首的将领则坚持认为此次日军虽属大兵团作战，但并不是所谓的“规模空前”，因此战役部署上仍可以采用“天炉战法”。薛岳引以为豪的天炉战法是根据长沙地区的地形特点发明的：在后退中破坏中间道路，实行坚壁清野；在伏击地区纵深配置兵力，将日军诱至长沙城下，以改变敌我力量的对比；然后从四面包围有如天炉熔铁一般歼敌。最后还是薛岳的意见占了上风。
但是薛岳终究是低估了日军夺取长沙和衡阳的决心。
指挥此次作战的日军将领是新调第十一军司令官横山勇中将。横山勇仔细研究了前三次长沙会战失败的原因，总结了薛岳的战略思想和作战特点，并在此基础上制定了的作战方案：将兵力分为两个梯队前后出击，波浪式交替攻击与推进，既保证了攻击的连续性，又保障了后勤补给线的安全，这样就可以侧击和夹击破坏交通线的中国军队。另外，在两翼部署强有力的精锐部队，这样就使中国军队在两翼山岳丛林中的机动兵团处于夹击状态，丧失了外线机动兵团的作用，日军便掌握了战场的主动权。横山勇狂妄地叫嚷：“两翼夹击，波浪式推进，一定要砸坏薛岳的天炉！”
5月27日，日军兵分三路向第九战区发起进攻，长衡会战爆发。日军选择这一天发动攻击具有深意的。在39年前的同一天，日本海军在对马海峡全歼了劳师远征的沙俄波罗的海舰队。日军左路从崇阳沿湘、赣边境山岳地带向南猛插；中路从岳阳地区突破国民党第二十军防线直扑长沙；右路从洞庭湖水域向南进攻；各路都配备有二线兵团。
28日，蒋介石电令薛岳“以现有兵力”，准备在长沙附近与南犯之敌决战。此时的薛岳正在岳麓山指挥所，态度战略仍然是以长沙守军吸引日军主力，再以外围部队对之实行反包围，最后里应外合将进犯的日军消灭在长沙外围。薛岳太信任他的“天炉战法”了：“在这样的环境之中作战，他日本鬼子纵有千变万化，也逃不脱‘天炉战法’所布下的天罗地网！”
但是，战局在29日以后突变，守军第二十军继续吸引中路日军向通城、平江运动，忽然发现左路日军从侧后包抄过来，二十军危急！屋漏偏遭连阴雨，右路日军穿过湖面障碍，在营田登陆，一时间汩罗江以北到处都是敌人，原计划的中国外围守军反被分割包围。薛岳的作战部署顿时被全盘打乱，湘北战场的局面已难于控制。5月31日，蒋介石电令第三、第六两战区，各用一军参战，并令军委会辖各军归薛岳指挥参战。蒋介石默默地为三次阻挡了日军进攻的“华南虎”薛岳祈祷，同时也是为自己祈祷。
中国自与盟国并肩抗日以后，产生了一个特殊现象，即是所有的大小战役都为美国所密切注视。这是蒋希望把抗日战事国际化所产生的后遗症。也正因如此，史迪威指挥的滇缅边境西战场和蒋介石指挥的豫湘桂东战场，象征着两人事业上之一种竞赛。
蒋介石已经憋了一肚子的火，凭什么必须由美国人指挥缅甸反攻战役呢？他先前晋升郑洞国为驻印军副总指挥，孙立人、廖耀湘分别为新一军、新六军军长的指令，都被史迪威所阻，仍维持原有编制。国军在河南败退之时，美式器械装备的驻印军在史迪威指挥下奇袭缅北重镇密支那，获得初步战果，被视为史迪威个人的战功。对照起来，蒋介石怎能不急呢？现在战事成败对他来说已经是涉及人格和国格的事了。
6月3日蒋介石训令第九战区将士：“此次作战，为国家存亡之关键，亦即我革命军人成功立业之时机，务望同心同德，上下一致，争取最后胜利。”
但是，在日军波浪式的攻击下，新墙河、捞刀河、浏阳河防线相继被突破。6月11日，在浏阳围歼左路日军的计划失败。薛岳致电蒋介石，请求增调部队，在长沙附近与敌决战。如果委员长赞同，把湘南的精锐北调，薛岳重新聚集起这些兵力，他是有信心与日军抗衡的。
不过，已经决定不再“冒险犯难”的蒋介石当然不会同意似乎是孤注一掷的决战建议。薛岳纵然有再绝妙的计划，无兵可用，只能眼睁睁地看着战事继续恶化。回天乏力的他在失望的同时，也陷入深深的悔恨中。骄兵必败，金玉良言啊！
6月14日，长沙的东大门浏阳在激战后失守，左路日军兵锋直指长沙。虽然右路日军被王耀武率领的第二十四集团军阻击在益阳、宁乡一带，但是中路和左路已经顺利地逼近了长沙，主攻岳麓山。6月16日岳麓山告急，长沙城危在旦夕。奉命守长沙的张德能意识到自己的骄傲铸成了大错。战前战区代理参谋长赵子立曾建议在岳麓山设置两个师，只要岳麓山阵地在，就可以保住长沙城。然而张德能坚决主张将兵力放在城中死守，他是第四战区司令官张发奎的侄儿，并没有将赵子立放在眼中，一味地按自己的主张行事。6月17日日军攻陷长沙外围要点黄土岭、红山头，并突破岳麓山主阵地。
此时的第四军对日军已经心怀畏惧，在需要鼓舞斗志稳定军心的关键时刻，张德能再次犯下致命的错误，下令城中主力西渡湘江，徐图再来。事与愿违，这些部队过江后马上溃逃。长沙失守，湘东湘西各县也相继被日军占据。
蒋介石对第四军擅自撤退大为恼火，把张德能交军法审判，8月25日处以死刑。时任第四战区司令官的张发奎没有为侄儿求情，在侄儿被枪毙的第二天，他以“作战不力”的同样罪名枪毙了一名蒋介石嫡系的军长。
日军攻占长沙后，继续向粤汉、湘桂铁路交点和重要战略基地衡阳逼近。衡阳水陆交通发达，位于衡阳湘江东岸的飞机场是粤汉线上最大的飞机场。因此，日军对衡阳志在必得，中方统帅部也颇为重视。
（蒋介石偕宋美龄赴衡阳慰劳将士）
日军向湖南发动进攻之初，衡阳并不包括在作战区域内。不过，为了防止日军钻隙偷袭衡阳，5月30日蒋介石命令方先觉的第十军专门固守衡阳，并特别指出第十军“不得用于长沙之会战”。他深知薛岳是一个不惜动用大量部队拼死决战的猛将，当然也希望薛岳能取得胜利，但却不能听任这个“老虎仔”把自己的血本全部作为赌注。这对于后来防止日军迅速攻占衡阳起了重要作用，另一方面也制约了薛岳的行动，削弱了保卫长沙的兵力。
第十军成名于第三次长沙会战中，当时全军将士死守长沙，与日军激战四昼夜，官兵负伤不下火线，都以战死为荣，确保了第三次长沙会战的胜利。方先觉当时任预十师师长，以“死守长沙获猛将之名”。方先觉接到固守衡阳的命令后，除派第三师前往湘潭，在易俗河南岸布防外，当即率预十师、一九○师进驻衡阳，日夜赶修工事，经过20多天的奋战，工事全部完工。
6月间，中国军队一方面要在湖南地区抵抗力图全力打通大陆交通线的日军，另一面又要在滇西、缅北对日军进行反攻作战。以全国局势而论，“大后方”只剩川、康、云、贵，但需要同时应付东西两个战场。根据这样的形势，蒋介石与军令部全面调整部署：“国军以巩固重庆、昆明，确保抗战基地及国际交通线之目的，以第一线兵团广领前方要地，行战略持久战，并先机控制有力兵团于六盘山、秦岭、巴山、鄂西、湘西、桂东、滇西各要隘、竭力加强整训，增筑工事，严防敌奸之侵入，见机再转入攻势。”
在薛岳的“天炉”被日军砸破之后，蒋介石迅速布置了下一步的作战，“国军以阻敌深入，确保衡阳为目的，于渌口、衡山东西地区持久抵抗，以主力由醴陵、浏阳向西，由宁乡、益阳向东，夹击深入之敌而击破之”。根据这一部署，6月25日蒋介石电令方先觉要“死守衡阳”。
衡阳城地形特殊，城东有湘江，北有蒸水，西面为密布鱼池与水塘之沼泽地区，南面为丘陵山地。虽都易守难攻，但南面的丘陵地区防守要稍为困难一点。而且，南面丘陵地区的高地是衡阳城的制高点，对衡阳的防守至关重要。方先觉判断日军可能以西南面和南面作为进攻重点，故将防守重点置于这两个方面。后来，日军果然把进攻的重点指向上述两个方面。
6月26日拂晓，日军在衡阳西南、西北、西面和南面同时发起攻击。第十军依托工事，顽强还击，双方激战到7月2日。日军在衡阳突然遇到拼死抵抗，大为震惊，第一线的各大队损失相当大，攻势渐缓，再加上弹药即将用完，被迫在7月2日夜间暂时停止攻击。强攻受挫后的日军曾佯装撤退，企图调虎离山，但被方先觉识破，固守不出。日军只得加紧补充弹药和兵员，准备发动第二次进攻。
骄横的日军在衡阳受到顽强的正面阻止，蒋介石发现其后方空虚，7月1日电令各兵团从侧背猛攻，希望瓦解敌人的攻势。但由于中国军队缺乏机动兵力，未能适时突进，衡阳依然被围。
7月11日，日军在获得补充后，再度发起攻击。日军使用了大量的燃烧弹和毒气弹，在空军和炮兵的密切配合下，不断向我军阵地猛扑。中国守军愈战愈勇，很多阵地都是战至官兵全部阵亡才告失守。官兵受伤后，除非失去行动能力，往往都留在阵地上继续作战。由于日军擅长白刃战，守军就以手榴弹作为近距离五十公尺以内的决战兵器，这种威猛战法令日军指挥官感到意外。日军在付出巨大伤亡攻占衡阳周边的守军据点后，战局又陷入胶着状态。进攻的多次受挫使日军指挥人员内部发生分歧，20日再次停止攻击，以进一步确定作战方针。
日军对衡阳发动第二次强攻期间，中方统帅部开始部署衡阳城的解围战斗。7月12日，蒋介石致电第九战区，令六十二军由衡阳西南迅速猛攻敌背，七十九军协同六十二军向衡阳西北郊进击，六十三师由北向南攻击，以“速解衡阳之围”。但是遭到日军顽强阻击，终被击退。7月25日，蒋介石再次组织解围战斗，除令原有的六十二军、七十九军等部再度向衡阳城增援外，又令第四十六军、七十四军一部投入战斗。由于许多原因，到29日各路援军再次被击退。第二次解围战斗也遭失败。
此间，美英苏各报都再三呼吁把包围边区的五十万大军调去抗日。但蒋介石始终按兵不动，对于舆论呼吁置若未闻。他并非不关心湖南战事的胜败，自缅北反攻战役开始以来，蒋介石无一日不在企盼着东线战场上的胜利。中国军队在史迪威指挥下于西战场连连告捷，在东战场则不断挫败，史即以此指责蒋介石，通过罗斯福与马歇尔向蒋介石要求中国军队的全部指挥权。7月6日罗斯福晋升史迪威为四星上将，随即发电要求蒋把指挥权转给史迪威，其中还包括中共的第十八集团军。
蒋介石集重兵在长衡地区，在长沙失守后，多次电令死守衡阳，并亲自部署衡阳保卫战。这些心情在他的日记中表露无遗，7月20日他写，“军事忧惶，未足言危，面对美外交之颓势，实为精神上最大之打击。但果能邀天之福，军事获胜，则外交危机，亦可转安，万事皆在于已之尽力耳”。7月31日的日记中他说：“衡阳保卫已一月有余……此次衡阳之得失，其有关国家之存亡、民族之荣辱至大”。正因为衡阳战事成败牵涉太广，深谋远虑的蒋介石才没有孤注一掷，调动胡宗南的部队南下解围。
日军“一号作战”攻势虽然凌厉，但毕竟难以挽回最终失败的命运。日军在盟国联合攻势下必将溃败，犯不着为了一时之心快而冒险犯难。蒋介石一直以为自己的使命有两个：抗日和反共。反共似乎是更具根本性的使命，他实在不忍心使苦心经营了多年的反共基业毁于一旦，在对日作战前景日益光明的时候，他更不放心让中共自由地发展壮大。更重要的是，美国已经表露出了在中国“换马”的姿态，国内也出现迎合的迹象。地方军将领跋扈依旧，中央军开入西康被刘文辉击退，新疆的盛世才也表现出新的反复，山西的阎锡山与日本签订协定，李济深联络余汉谋等粤系将领，准备设立蒋介石倒台后的联合政府。在多数亲信陆续调往抗日前线的形势下，胡宗南的部队已经成为维持他统治的最后一道防线。蒋介石已经准备在迫不得已的时候对美国让步，把第一线兵团的指挥权让给史迪威，果真发展到这个阶段，只要胡宗南的大军处于抗战前线，美国人依然不敢轻视他的地位。
蒋介石此时对衡阳战事的心情是复杂，一方面他不可能抽调更多的部队去参战，以求从根本上解除衡阳之围；另一方面，他又企盼着这一有重大政治意义的战事能有一个体面的结局。最后的决策只能是要求衡阳守军坚定军心，守得越久越好。守卫衡阳的方先觉也不负厚望，及时收缩兵力，集中力量防守城区，防止了被日军各个击破。这一兵力调整，增强了同日军持久抗衡的能力。
日军第二次攻击失败后，放弃对衡阳的正面进攻，转而采取持久包围战。7月27日蒋介石电令第四战区抽调一个军救援衡阳，并令其他援军再次反攻。但是日军已经发现中国军队的意图，为避免前后夹击，腹背受敌，日军在28日先行对衡阳发动了总攻击。日军第十一军司令官横山勇由长沙飞赴衡阳前线亲自指挥，并下令增调兵力支援。日军的总攻击在飞机和野战重炮的支援下展开，但守军的抵抗依然坚强，战况并未有太大的进展。
8月2日蒋介石电告方先觉，已督“各路援军急进，望固守”。但是次日日本大量援军先行赶到，凶猛攻城。守军因长期被围，医药、食物、弹药缺乏，战斗力渐弱。7日，城门攻破，守军与敌进行激烈巷战。蒋介石再度致电方先觉盼望坚守。然而衡阳城内守军万余人在外有援军不能救济、内乏粮弹的情况下，孤军喋血，苦战48天，已经伤亡殆尽，阵地全毁。方先觉在8月7日下午给蒋介石拍电报说：“敌人今晨自城北冲入以来，即在城内展开巷战。我官兵伤亡殆尽，刻再无兵可资堵击……”
这就是说，守军要继续战斗下去已很困难。日军在作最后攻击的同时，开展了心理攻势，对幸存的守军劝降。7日下午3点衡阳守军第九团首先在天马山阵地举起白旗，其它阵地见状，亦都先后停止抵抗。大势已去，方知觉怀着复杂的心情拟好投降的条件。8日晨，当方先觉率10余名高级将领会见日方师团长时，日方提出无条件投降的要求，方只好当场答应下来。