台儿庄之战是日俄战争后几十年来日本吃的第一次大败仗，陆军无论如何也丢不下这面子，无论如何也不敢面对事实。他们竭力辩解：这不是一个败仗，只是指挥官的一次小小的差错，一次小小的失误；第5、第10师团残部决不是溃败逃跑，而是作新的转移。裕仁一怒之下，改变了2月16日御前会议关于在8月以前绝对不向新地区发动进攻的决策，决定再次迅速向中国大规模增加兵力，发动更大的进攻，誓报台儿庄一箭之仇。
战机很快便出现了。台儿庄战斗刚结束，侵华日军前线指挥官电告大本营：徐州地区有中国军队在集结，约50个师、60余万人，几乎全部为蒋介石的精锐部队。
陆相杉山元大将当即向天皇报告，天皇闻讯，也是喜出望外，当即确定围歼徐州中国军队。陆相杉山元于4月7日向华北方面军总司令官寺内大将、华中派遣军总司令官畑俊六大将下达大本营陆军部第84号命令：
一、大本营企图击破徐州附近之敌。
二、华北方面军司令官应以有力之一部击破徐州附近之敌，占据兰封以东陇海线以北之地区。
三、华中派遣军司令官应以一部占据华北方面军司令官之前项徐州（不含）以南津浦线及庐州附近。
……
杉山元又派遣了以陆军部作战部长桥本群少将等高参组成的“大本营派遣班”，前往徐州前线，就地指导会战。
4月中旬，侵华日军华北方面军和华中派遣军，集结精锐部队13个师团约30万人马，配备各种重武器，辅以飞机数百架，采取南北对进、侧翼迂回的战术，分6路向徐州施行包围进攻，企图以速战速决的手段围歼中国军队主力于徐州附近。
此时，蒋介石正沉浸在台儿庄大捷的兴奋里，对日军的进攻企图尚不十分明了。他命令徐州地区各部队要发扬台儿庄血战的光荣精神，坚决分头阻击来犯之敌，通过徐州会战再打出几个台儿庄大捷来。
日军分南北两大作战兵团。南路兵团为华中派遣军所辖第9、第13、第116、第106四个师团；北路兵团由华北方面军8个师团组成，计有第5、第10、第16、第110、第103、第104、第105、第14师团，以及山下、酒井兵团各一部。南路兵团总指挥为羽源田之助将军，北路兵团总指挥为第2军司令官西尾寿造将军。
中国军队总指挥官是第5战区司令长官李宗仁上将，他将徐州地区守军分为5个作战兵团，淮南兵团：指挥官李品仙，兵力为第20、第10、第48军；淮北兵团：指挥官廖磊，兵力为第31、第7、第77、第68军和区寿年的左侧支队；鲁南兵团：指挥官孙连仲，兵力为第30、第42、第51、第41、第44、第60、第46、第22、第75共9个军，外加4个独立师；陇海兵团：指挥官汤恩伯，兵力为第57、第89、第69军。另外，在徐州地区未编进以上兵团的部队，还有第12、第55、第32等5个军。
4月中旬，北路日军一股向徐州东北面进攻，孙连仲兵团等部在峰县、向城、邳县等处同敌激战。4月下旬，北路另一股日军向临沂、郯城、大埠、北劳沟等处进攻，守军张自忠部等拼死抵抗，给敌以沉重打击。5月上旬，南路日军开始北上，相继攻占徐州南面的龙元、蒙城、宿县，并攻陷徐州西边的黄口车站，包围并切断了徐州西南面的退路。5月中旬，北路又一股日军，从濮阳强渡黄河，进入鲁西地区，迅速攻占了郓城、菏泽、金乡、鱼台等要点。该地区虽有孙桐萱、庞炳勋、商震等部队，但在广阔的鲁西平原上，无险可守，日军得以快速推进。该路日军与南路日军相呼应，自西北方向向徐州压来。此时，日军对徐州的大包围业已完成。
5月中旬，日军开始进攻徐州。在徐州北战场，5月12日，日本华北方面军第1军第14师团从濮县地区南渡黄河，以一部到内黄集附近，截断了陇海铁路交通线。5月9日，日军第16师团从山东济宁南下，向砀山、唐寨地区疾进，从西面攻击徐州。5月15日，日军第5师团在鲁南同中国军队激战数日后，渡运河向宿县推进，而后进攻徐州。在徐州南战场，5月5日，日军华中派遣军开始北进。5月9日，第 13师团攻占安徽蒙城，13日到达徐州西南盼水城，从西南面包围徐州。10日，日军第9师团北上，经蒙城、永城向徐州西南地区进攻，16日进入萧县附近地区，逼近徐州。从南京附近参战的日军第3师团也随之沿津浦铁路急速北进，15日陷大营集之后，即在第9师团右翼支队配合下向徐州推进。至此，南北两路日军完成了对徐州地区的包围。
中国第5战区部队在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势。第23师师长李必蕃率部在鲁西菏泽战斗中壮烈牺牲。第173师副师长周元率2000官兵在皖北蒙城防御日军进攻，拼死激战，周元和大部分官兵壮烈牺牲。
此时的蒋介石，终于弄清楚了日军的意图是要围歼他的主力，围歼他的60万大军。蒋介石忙命人叫来何应钦、陈诚和白崇禧研究对策。智囊团一致认为，日军的企图既已暴露，再守徐州在大平原上与日本人决战，无异于引火自焚，眼下只能是三十六计走为上。
为了保存有生力量，国民政府军事委员会于5月15日决定放弃徐州。蒋介石遂口授电令给李宗仁火速撤离徐州。
5月16日，第5战区下达撤退命令，以刘汝明的第68军于徐州掩护撤退，以第24集团军留苏北，第69军及海军陆战队在鲁南、鲁中进行游击作战，主力分5路向徐州西南方向突围。各路大军突破日军的封锁线，撤向豫、皖之间山区。第68军在掩护各部撤退完毕之后，于5月19日放弃徐州，巧妙地跳出日军几十万大军的围困到达安全地带。
5月底，各路日军冲进徐州，发现徐州空空荡荡，压根没见到中国军队的影子！
徐州失陷后，日军大本营又决定“扩大徐州会战战果”，进行追击作战。5月21日，日军大本营下令进攻兰封、归德（商丘）、永城、蒙城以东地区。29日，又下令越过兰封、归德、永城、蒙城地区。日军分兵数路，沿陇海路两侧向西追击。5月22日，日军第10师团开始西进，相继攻占亳县、柘城，6月5日到达太康。5月21日，日军第16师团从徐州附近出发，相继攻占砀山、马牧集，5月21日到达归德。归德守军顽强抵抗两天后撤退。日军占领归德、杞县、通许、尉氏、朱仙镇。日军第14师团于5月17日到达内黄集，准备进攻兰封。驻守鲁西南的中国第1战区薛岳兵团，为掩护第5战区部队突围，在兰封地区发动反击，与日军第14师团激战。日军第14师团于5月24日攻占兰封，遭中国军队包围，激战至30日，中国守军退却。此时，日本华北方面军企图攻占郑县，然后沿平汉线南下进攻武汉，遂下令第10师团向郑县推进。6月6日，日军第14师团攻陷开封，7日又陷中牟，10日，该师骑兵团到达新郑南郊，炸毁了平汉铁路，12日炸毁了新郑南面的平汉线铁路桥，切断了平汉铁路线，郑县告急。
为阻止日军进攻，经蒋介石批准，竟于6月9日由撤退的军队炸开郑州东北的花园口大堤，滔滔黄河水经中牟向东南方向奔泻而去，平汉线以东中牟、尉氏、扶沟一线，直到皖北、苏北成为一片汪洋。
6月12日之后，日军第14、第16师团遭受洪水泛滥的威胁，乃组织向东撤退。花园口决堤虽暂时阻挡了日军的继续西进，但是造成黄河改道，使豫、皖、苏3省40多个县市的广大地区沦为泽国，近90万人葬身洪流，上千万人流离失所，并形成了连年灾荒的黄泛区。如此“以水代兵”阻敌前进，给广大人民群众带来巨大灾难。
徐州会战是继淞沪、太原会战之后中国正面战场又一次大的会战。双方均投入数十万兵力，历时4个多月。日军虽打通了津浦线，扩大了占领区，但妄图打击中国军队主力、挫伤中国军民抗战意志的目标却未能实现。中国军队的防御作战和主动转移，达到了一定的战役目的，为部署武汉保卫战赢得了4至5个月的宝贵时间，打破了日军速战速决的战略计划。尤其台儿庄大捷给了日军以有力打击，鼓舞了全国人民的抗战意志。