台儿庄战役结束以后，中日两军的统帅部重新判断徐州地区的战争形势，都大量向徐州地区调集军队，但战略出发点不同。
台儿庄战役，中国军队歼灭日军万多人，一度掌握了徐州会战的主动权。中国最高军事当局受到台儿庄大捷的鼓舞，对徐州地区军事态势作了新的分析判断，日军不可战胜的神话再一次被打破。对于下一步行动，国民政府一些高级将领意见不一致。有人认为，徐州附近的中国军队应转移阵地；重新建立起一道保卫武汉的新防线。有些人主张，要利用部队高昂的士气，再打一个胜仗。
蒋介石接受了后一种建议，决定“扩大台儿庄战果”，在徐州地区同日军进行一场决战，夺取决战的胜利。因此，蒋介石按照决战的意图，把战斗力强的部队纷纷调到徐州地区。出于这一战略考虑，第5战区的部队由会战初期的29个师迅速增加到64个师又3个旅，总兵力约60万人。
日军大量向徐州地区增加兵力，主要出于4种考虑。
一是通过台儿庄战役，日本军国主义者看到徐州附近集结了大量中国军队，认为这是进行一场决战的好时机，是歼灭中国军队的主力，挫伤中国军民抗日意志的好时机。
二是春季来临，日军对北方强国苏联的战备有所松弛，在全局上日军有较多的机动兵力可以南调，战略预备队的力量加强。
三是日本最高军事当局受台儿庄战役失败的影响，对中国军队的战斗力进行新的评估，认为徐州不可能轻易取得，必须调集重兵，四面合围，才能打通津浦铁路，攻占徐州。
四是台儿庄作战失败后，一些军官萌发了报复中国军队的心理。
出于以上考虑，日军统帅部对徐州地区的军事态势作了新的判断，对北平、天津、山西、江苏、安徽等地日军的作战任务重新进行调整，抽出第14、第16、第114师团，命令这3个师团向徐州地区运动，配备各种重武器，调遣数百架飞机，进行徐州作战，打通津浦路。
4月3日，日军大本营研究了进行徐州作战的可能性。
4月7日，日军大本营下达了组织徐州作战的命令。陆军部根据上述命令，制定了《徐州附近作战指导要领案》。其基本作战意图是：徐州作战，华北方面军和华中派遣军联合组织实施，以华北方面军为主，华中派遣军配合华北方面军作战。作战开始后，主力兵团向西迂回，从侧后保卫徐州，歼灭中国军队第5战区主力。其任务区分主要是：
华北方面军第5、第10、第14、第16师团向开封以东行动，攻占陇海铁路沿线以北地域；主力南下，进攻徐州；用2个师团向兰考、商丘方向进攻，切断中国军队向西的退路。
华中派遣军第9、第13师团在徐州以南行动，占领徐州以南的津浦路和合肥地区，从南面策应华北方面军进攻徐州。
4月中旬，“日军大本营派遣班”进入中国，在济南设立指挥机构。这个派遣班由参谋部作战部部长桥本群少将率领，主要任务是协调徐州南、北日军两大兵团的作战行动。4月17日和18日，日军在济南召开了参谋工作会议，华北方面军和华中派遣军有关人员在会上明确了两军进行徐州作战的有关事宜。由此可见，日军大本营对徐州作战是多么重视。
4月18日，日军发起了新的攻势。
日军第5师团遭到中国军队沉重打击以后，稍经补充休整，以步兵第9旅团为骨干组成国崎支队，从临沂西北的义堂地区南进。第10师团分成3路纵队，从薛城、峄县、向城之间60公里的正面上向南攻击前进，对中国守军进行牵制性进攻。第16师团的草场支队担任第10师团的预备队，片桐支队担任第5师团的预备队。中国军队第2集团军，第20、第3军团，第27军团第59师奋起抗击。日军每前进一步，都受到中国军队的沉重打击，进攻迟缓，到月底，这路日军仍被阻止在韩庄、邳县、郯城一线地域。
日军新的进攻，催促中国军队作出新的作战部署。徐州战场有64个师，这不是一支小部队。这些部队如何部署，蒋介石并没有作出详细计划。作战厅长刘斐曾向蒋介石建议，山东南部的中国军队应该以机动防御为主。在作战指导上，除以一部分军队同日军保持接触外，主力应集结在便于机动的地区，相机打击日军；运河沿线要有中国军队防守；徐州以西地区，要控制强大的战略预备队，以便应付突然发生的各种情况。但是，这些建议没有被采纳。
第5战区司令长官李宗仁对徐州周围集结重兵有不同看法。李宗仁认为：“我方在徐州一带平原，聚集大军数十余万人，正是敌方机械化部队和空军的最好对象”。李宗仁还指出：“以我军的装备，只可相机利用地形条件，与敌人作运动战。”
从以上分析看，蒋介石集团虽然决定在徐州同日军决战，但没有形成一个完整的决战方案，数十万部队匆忙调往徐州地区，仓促防御，许多带兵打仗的将领对总的作战意图不明了，这是导致后来徐州会战失利的一个阴影。
李宗仁经过反复考虑，决定把其中21个军编为5个兵团。这些兵团是：
淮南兵团：李品仙任司令员，编有3个军的部队。
淮北兵团：廖磊任司令员，编有4个军的部队。
鲁南兵团：孙连仲任司令员，编有9个军的部队。
陇海兵团：汤恩伯任司令员，编有3个军的部队。
苏北兵团：韩德勤任司令员，编有2个军的部队。
一场数十万军队参加的大会战开始了。
徐州大会战，实际上是徐州外围战。
5月5日，日军从南面和北面同时向徐州夹击，其战略意图是，先迂回徐州西侧，再四面包围徐州。
徐州南面战场：日军第9、第13师团从蚌埠沿北淝河、涡河西岸北进。第3师团从蚌埠出发，向大营集、宿县进攻。
徐州北面战场：日军第16师团从山东的济宁渡过运河，向江苏省的丰县、砀山挺进。第14师团从河南省的淄阳县南渡黄河后，向兰考挺进。第10师团把韩庄、台儿庄地区的作战任务交给第114师团接替，在夏镇附近渡过微山湖，向江苏省的沛县进攻。
以上作战目的一旦达成，日军就完成了对徐州的四面合围，形成同中国军队主力进行决战的态势。
为了从四面合围徐州，日军对这次进攻行动进行了精心的准备。进攻发起后，各部队进展顺利，会战进程似乎是按照日军单方面制定的时间表推进的。
5月9日，日军第16师团南下，向砀山、唐寨地区挺进，从西面攻击徐州。第14师团步兵第28旅团奉命从河南新乡转赴山东济宁，向郓城、菏泽等地发起进攻，掩护师团主力强渡黄河。
5月10日，日军第9师团经蒙城、永城等地，向徐州西南地区进攻。当时，廖磊指挥的第21集团军所属第7、第48军防守淮河中流地域。廖磊命令第171师师长杨俊昌带一个团，扼守宿县；命令第173师副师长周元率领一个团，扼守蒙城。日军进攻蒙城时，周元遵照廖磊司令长官的命令，指挥2000多官兵拼死抵抗。激战中，防守蒙城的中国军队除20多名士兵突围外，周元副师长及其余官兵全部壮烈牺牲。这路日军16日逼近徐州。
5月11日下午，日军步兵第28旅团在旅团长酒井隆少将的指挥下，攻占郓城。郓城失守，菏泽就暴露在这路日军的进攻正面了。防守菏泽的中国军队第23师师长李必蕃感到敌情严重，严令第68旅组织反攻，夺回郓城。
第68旅出发后，李必蕃师长亲自带领师直属队前往增援。第68旅刚从前线撤退，没有得到休整，加之日军的炮火异常猛烈，部队多次组织反攻，官兵遭受重大伤亡，仍然没有夺回郓城。李必蕃师长立即调整部署，把第67旅配置在菏泽左侧，把第68旅部署在菏泽的右侧，严令全师各部队抓紧时间做好战斗准备，死守菏泽。李必蕃是湖南省嘉禾县人，先后在长沙陆军小学堂、武昌陆军中学堂、保定陆军军官学校学习军事，毕业后曾担任团副、参谋主任等职。参加北伐战争中，战功显著，升任团长。1936年1月，任第23师少将师长。全面抗战开始以后，李必蕃率领部队从临潼出师抗日，在沧州作战中，荣立战功，受到嘉奖。第23师参加徐州会战，李必蕃师长严阵以待，部队官兵的抗日热情高昂。
5月12日，日军第14师团南渡黄河以后，迅速以一部兵力前进到内黄集附近，截断了陇海铁路。这等于截断了中国军队向西撤退的后路。
5月13日，日军第13师团前进至徐州西南的永城，占据了徐州西南方向的有利地域，从西南面包围徐州。第9师团沿津浦铁路前进，攻占宿县。南线日军，攻占永城、宿县以后，从南面形成了对徐州的合围态势。
5月14日，日军第28旅团凭借化学武器和重炮的猛烈攻击，突破菏泽的外围阵地，把菏泽城四面围困起来。
防守菏泽，又是一场血战。
李必蕃指挥的第23师，有一支以工兵为主的骨干队伍，擅长防守，敢打硬仗。看到日军猛烈的进攻，李必善知道菏泽已经是一座孤城了，守城的决心更加坚定。他对官兵们说：“我们无论如何都要坚守阵地，绝不能后退，不能再让日本鬼子在中国的土地上狼奔豕突了。”
日军攻城的炮火越来越猛烈，排炮几乎没有间隙，接二连三地落在中国军队的阵地上。日本鬼子冲上来了。李必蕃师长一声令下，官兵们一齐向鬼子射击，机枪喷出了一条火龙，打得鬼子东倒西歪。
在日军一次接一次的炮击中，菏泽的防御阵地被炸成一片废墟，村庄在燃烧，树林在燃烧。部队伤亡越来越大，有些排的官兵全部牺牲在抗日的阵地上，有的连只有几名伤兵还坚守在阵地上。
鬼子越来越近了。师参谋长黄启东英勇殉国了，刘冠雄团长也在战斗中牺牲了。李必蕃师长看了看身边的几名随从，手一挥，毫不犹豫地冲出战壕。在激战中，李必蕃师长身负重伤。随从副官急忙把李师长搀扶下来，组织直属连杀开一条血路，突出重围。
傍晚，满身是鲜血的李必蕃被救护到菏泽以南5余公里的曲只集。李必蕃从昏迷中醒来，得知菏泽已经被日军占领，悔恨交加，决定以一死来激励将士们继续抗日。他吃力地取出一份地图，写下了“愿我同胞，努力杀贼”的遗言，趁护理人员不注意，猛地举起手枪，在自己头上开了一枪。
李必蕃以身殉国，在全国反响强烈。国民政府追晋李必蕃为陆军中将。国民党的《中央日报》、《大公报》等报刊，纷纷登载文章，赞扬李必蕃的爱国精神。中共中央和八路军总部代表郭沫若、吴玉章、罗炳辉等人率领代表团，参加李必蕃的追悼大会，并送了一块刻有“民族之光”的大匾。1986年，湖南省人民政府追认李必蕃为革命烈士。
菏泽失守那天，日军第14师团主力攻占曹县，第16师团主力攻占金乡。部署在这一地区的国民党军队没有能够阻止日军的进攻，致使中国军队徐州地区的防线被日军突破。这一突破，对徐州地区的防御产生了重大影响。
5月15日，沿津浦铁路北上的日军第3师团攻占大营集以后，在第9师团左翼支队的配合下，向徐州挺进。
日军连续进攻的炮声，大片领土的失陷，迫使国民政府的一些高级将领重新认识徐州地区的军事态势。在数量上占有绝对优势的中国军队，未能有效地抗击日军的进攻，短短10天时间，南北两路日军即完成了对徐州地区的合围，这使蒋介石等人感到十分意外。国民政府一些高级将领开始意识到，在黄河与淮河之间的狭小平原地区同装备精良的日军进行决战，是不现实的，要消灭日军，必须另谋他路。为了保存有生力量，5月15日，国民政府军事委员会召开会议，决定放弃徐州。
蒋介石下达的命令是：“避免决战，撤离徐州。”
5月16日，李宗仁根据蒋介石的旨意，下达了第5战区各部队脱离徐州战场的命令。司令长官作出的撤退部署是：刘汝明指挥第68军占据徐州有利地形，掩护各部队撤出徐州战场。第24集团军留在苏北。第69军同海军陆战队一起，在鲁南、鲁中地区开展游击战。第5战区主力部队分成5路，分别向徐州西南方向突围，向河南、安徽边界的山区撤退。李宗仁部署完撤退任务以后，静静地坐在指挥室里，心情格外沉重。
李宗仁的脑海里掠过这样一个念头：数十万部队撤到桐柏山区，退到江南的水网稻田地，“化整为零”，进行游击战，是否可行呢？
5月18日，李宗仁同白崇禧、刘斐等第5战区长官部的人员一起，在第31军和第7军1个师的掩护下，从萧县以南地域突围，向阜阳前进。一路上，日军的飞机不时地临空侦察。为了免遭意外，李宗仁一行白天隐蔽，夜间行军，整整在途中行军7天7夜，终于到达阜阳。
第5战区的主力部队突围进入西南山区以后，在桐柏山、大洪山开辟据点，抗击日寇。
5月19日，第68军完成了掩护第5战区各部队撤离徐州的任务，即放弃徐州。当日，日军占领徐州。
在徐州会战接近尾声时，发生了在抗日战争中有重大影响的两个事件。一个事件是中国空军到日本进行“纸片轰炸”，一个事件是黄河决堤。
“纸片轰炸”发生在徐州陷落的当天。
徐州会战失利后，侵华日军越来越猖狂，日军飞机对武汉、重庆、广州的轰炸也越来越频繁。国民政府召开最高军事会议时，有人提出，中国应该对日军占领徐州作出强烈反应，在这个时候，一定要千方百计打击侵华日军的嚣张气焰，要激励全国军民的抗日热情。在日军的强大攻势面前，中国采用什么方法打击日寇？这是一个难题。
有人说：日军飞机对中国的大城市狂轰滥炸，中国空军就不能轰炸日本本土吗？
有人说：中国是文明古国，是礼仪之邦，不能像日本法西斯那样，滥杀无辜。
有人说：“七七”事变以来，日军残暴地屠杀中国人民，侵占中国大片领土，中华民族遭受了巨大灾难。日本本土并非固若金汤，我们为什么不能让日本当局尝尝中国人的炸弹？
有人提出：空军能担任远航日本的重任吗？国民政府的空军组建以来，还没有作过如此远距离的飞行呢！
这次会议，经过激烈争论，决定秘密派飞机到日本，不投炸弹，只投掷宣传弹；并责成航空委员会军令厅选定远征日本的空勤人员。
蒋介石的外籍顾问端纳得知中国空军要远航日本，连连摇头，说：去日本？中国飞行员没有这个能力，应该聘请一位美国飞行员。
经过协商，美国飞行员选定了。但这位飞行员狮子大开口，远航日本一趟，必须给他10万美金。那时候，10万美金约合40万大洋。这不仅是要价高，也是对中国飞行员的藐视。
在这种情况下，国民政府有关部门决定，把远航日本的任务交给空军第14中队中队长徐焕升。徐焕升是笕桥航校第1期毕业生，曾经到德国学习，能担当此任。随徐焕升编队飞行的僚机由佟彦博驾驶。佟彦博是笕桥航校第3期的毕业生，曾经担任蒋介石的专机驾驶员。
领队远征日本长崎、佐世保等地胜利归来的中国空军第14中队队长徐焕升。5月19日15时23分，徐焕升驾驶1403号长机，佟彦博驾驶1404号僚机，悄悄地从汉口机场起飞了。这两架美制“马丁”B-10B轰炸机运载着100万份宣传单，经过2小时飞行，按预定计划到达宁波栋社机场加油，于23时48分起飞，向日本飞去。
“马丁”B-10B轰炸机翼展21.49米，机长13.63米，装有两台功率为775马力的发动机，可携带1025公斤炸弹，最大时速为343公里，升限7300米，航程900公里。这是经过充分准备的两架飞机。5月20日凌晨2时45分，中国飞机飞临长崎上空，撒下传单，再向日本的福冈、九州等一些城市飞去。
随着中国飞机B-10B的一阵阵轰鸣声，宣传单雪片似的飘落下去。徐焕升和佟彦博及时向国内反馈信息：空中没有拦阻，探照灯柱到处可见，高射炮火密集射来……
那夜，日本的长崎、九州等城市的市民们惊恐万状，军方束手无策。狂妄的军国主义者万万没有想到，中国空军的飞机能飞到日本领土上。当他们看到中国空军撤下的传单时，日本举国骚然。
这些传单，有的是《告日本国民书》，有的是《告日本工人书》。其中《告日本国民书》写道：
我们大中华民国的空军，现在飞到贵国的上空了。我们的目的，不是要伤害贵国人民的生命财产。我们的使命，是向日本人民，说明贵国的军阀，在中国领土上做着怎样的罪恶。请诸位静听……
日本兄弟，在诸位之中，有开始反对战争、理想做正义和平的人，也有为军阀的宣传所欺骗而讴歌战争的人；但，不管是哪一种人，想来一定都因贵国的言论被统治，要了解时局的真相是困难的。所以，试作以下的说明，希望诸位详加考虑。
中华民国空军将士中日人民亲善同盟
《告日本工人书》有以下内容：
解放是不会自己来的，现在正是人民争回自由的时候了。你们掌握着生产，掌握着日本军阀之心脏的工人兄弟！觉醒诸君伟大的力量吧！诸君掌握着东洋的命运，打倒日本军阀，为解除两国人民的苦痛，以同盟罢工来战斗吧！
中华全国总工会
这种宣传，也是一场战斗，它对日本国民产生的影响不亚于战场上的一个胜仗。
黎明，两架中国飞机圆满完成任务，顺利返航。
8时48分，佟彦博驾驶的僚机在玉山机场降落了。9时24分，徐焕升驾驶的长机在南昌机场降落了。机场上，掌声雷动。各类人士聚集机场，热烈欢迎远征归来的勇士。
中共中央和八路军武汉办事处为了祝贺这次行动，特地赠送了两面锦旗，一面写着“德威并用，智勇双全”；另一面写着“气吞三岛，威震九州”。
在徐州会战期间，两架中国空军的飞机远航到日本撒传单，这一行动，长了中华民族的志气，灭了日本侵略者的威风。6天以后，日本近卫内阁被迫大改组。
黄河决堤，发生在日军西进途中。
日军占领徐州及其附近地区以后，大本营决定“扩大徐州会战结果”，命令部队沿陇海路西进，追击撤退的中国军队。5月下旬，日军大本营先是命令进攻兰考、商丘、永城、蒙城以东地区，继而又下令攻击部队越过上述4个县城，继续西进。
根据日军大本营的命令，华北方面军和华中派遣军命令第10、第14、第16师团分路向西追击。5月24日，日军第14师团的部队占领兰考后，被中国军队包围。经过近一周的激战，中国军队撤退。日军继续西进。
6月6日，日军第14师团占领开封。7日，离郑州只有数十公里的中牟陷落，中原重要城市郑州危急。
日军连续西进，数周内侵占中原地区大片领土，引起了中国人民的愤慨。如何阻止日军西进，成为国民政府军事委员会一个十分迫切的问题。郑州一旦失守，日军必将会沿平汉路南下，进攻武汉；也会沿陇海铁路西进，进攻西安。这将使抗日战争的形势变得更加严峻。谁知，在如此重大的问题上，蒋介石竟然盲目决断，采用“以水代兵”的战术。
6月初，蒋介石出席在武汉举行的最高军事会议。当讨论如何阻止日军西进时，军事委员会侍从室一名副主任建议，选择适当位置炸开黄河大堤，水淹日军。蒋介石采纳了这一建议，下令在郑州东北的花园口附近炸毁黄河大堤。这道命令，带来了一场新的灾难。
黄河，是中华民族的母亲河。
黄河，从黄土高原夹带大量的泥沙，由西向东气势磅礴地奔泻下来。进入华北平原以后，黄河水流减缓，河道开阔，由于泥沙逐年淤积，河床远远高出两岸的田园和居民，汛期水位，比开封著名的铁塔和郑州著名的“二七纪念塔”塔顶还要高，成为地球上的一条“悬河”。黄河两岸广大百姓生命财产的安危，都系于那条大堤上。中国历代王朝都采取措施，防止黄河水患。
6月9日，国民党军队奉命在花园口炸开黄河大堤。数千年来，黄河沿岸的人民群众不断修筑大堤，把大堤修得十分坚固。奉命炸堤的工兵部队连夜挖掘，多次爆破，都没有把大堤炸开。蒋介石得知这一情况，接连3次责问为何没有炸开大堤？
受命炸堤的工兵分队万般无奈，他们不得不另选地址，炸药、地雷同时使用。突然间，一声惊天动地的爆破声，一条“黄龙”从中华民族的母亲河里奔腾而出。
刹那间，滔滔黄河水带着混浊的泥沙，从缺口夺路而出，犹如万马奔腾，呼啸着，奔腾着，沿中牟、尉氏、扶沟一线向南泛滥，把沿途的村庄、庄稼、树木全部吞灭，美丽富饶的中原大地出现了大面积黄泛区。当年7月20日的《新华日报》报道：“黄河决口，共有两处，一在郑州以北24里的花园口溃决150公尺，水深3丈；一在中牟以北32里的赵口溃决300公尺，水深丈余。两决口相隔40里，中间杨橘一带，并没有水。花园口的决流，南经京水镇入贾鲁水支流至白沙镇，与赵口决流汇合，入贾鲁河向东南泛滥……”
古人曰：黄河之水天上来。
日军沿陇海铁路向西推进途中，突然遇到滚滚洪流席卷而来，毫无思想准备，部队的大炮、战车等辎重物资陷入一片汪洋之中，许多官兵被洪水吞灭了。面对凶猛无比的滔滔黄河水，日军的重装备难以行动，日军统帅部不得不命令部队停止前进，向黄泛区以东地区撤退。
据统计，日军因黄河决堤而被淹死、或得病而死的官兵，达3万多人。
蒋介石“以水代兵”，尽管暂时阻止了日军西进，却造成黄河改道，河南、安徽、江苏3省40多个县市，3000多平方公里的田园变成了一片汪洋，1250万人悲惨地遭受这场灾难。仅河南省的郑县、中牟、开封、通许、太康、淮阳、鹿邑、尉氏等21个县市，就有900万亩耕地被淹没。滚滚洪流，吞灭了90万人的生命，造成上千万人流离失所，豫东广大地区，成了满目疮痍的黄泛区。黄泛区年年受灾，岁岁饥荒，灾荒带来的损失，更是无法统计。中原人民不仅饱受日本鬼子野蛮掠夺之苦，又面临着人为的洪水带来的巨大灾难。战争，就是这样残酷，这样难以驾驭。
何应钦把黄河决堤的责任推给日军，他称：“敌在赵源口（中牟北）附近决堤，复在花园口（郑州北）附近投多量炸弹，破坏黄河堤防，氾滥横流，但我大军已陆续向西转进。”
徐州大会战，在滔滔黄河水泛滥中，落下了帷幕。
徐州会战，有临沂、滕县、台儿庄的激战，最终却以水代兵，这不仅没有阻止日军的进攻，还给中原人民造成重大灾难。