台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即有一兵一卒，亦须本着牺牲精神努力死拼，如果失守，不特该军全体官兵重惩，即李长官、白副总参谋长、林次长亦有处分。
接到蒋介石的严令后，汤恩伯军团即由峄县东北南下，进攻向北洛、泥沟前进的赤柴联队，同时冯安邦军阎廷俊、黄樵松（第二十七师师长兼）两旅亦迎头截击，使其不能与福荣联队顺利合拢。福荣真平慑于濑谷支队长的命令，除与阻击其前进的冯安邦师激烈战斗外，并督率其攻坚部队不停地向台儿庄砦内攻击。其第一批突击队被消灭后，接着又派第二批突击队侵入，盘踞砦内西北角大庙与碉楼，继续与池峰城师及增援来的张金照师袁有德、吴明林两团激战。突入城内的日军虽不断遭歼，但由于西门、北门为敌所控制，敌人仍可以随时突入，而且举火为号指挥飞机轰炸，夜晚以炮火向我国守军袭击，使我守砦战士死伤惨重，区区小砦多日不能收复。4月5日，第一战区司令长官程潜到达徐州，向台儿庄前线部队下达如下命令：
（一）本长官奉令特来徐州督战；
（二）台儿庄之敌限自鱼日（6日）起至齐日（8日）止，三日内务捕捉歼灭；
（三）树立首功者奖洋十万元，否者师长以上定予重惩。
日军第二军司令官西尾，以濑谷支队在台儿庄地区被我国各军围攻，形势不妙，为免于被歼，遂于29日命令板垣师团援救濑谷支队。板垣当即令坂本支队留下两个大队在临沂与庞炳勋军对峙，由坂本率步兵四个大队，野炮两个大队于29日夜南下，4月2日进至台儿庄五至六公里地区，与濑谷支队取得联系后，即与汤恩伯军展开激烈战斗，企图解除濑谷支队左侧翼之威胁。汤恩伯指挥各军包围坂本支队于肖汪附近，在关麟征、王仲廉、周碞等军环攻下陷于苦战，至5日弹尽粮绝，仍不得与濑谷支队合拢。
孙连仲于5日接获程潜严令后，限期将当面之敌肃清，当即于6日晨向各部队发布如下命令：
（一）敌受包围损失极大，我汤军团定本（六）日下午八时至十二时由岔路口、刘庄一带总攻敌人；
（二）着二十七师派队于本（六）日晚八时向孟庄、裴庄、园上地区进击，协同汤军之作战；
（三）三十师应集结有力部队，同时向南北洛进击协同作战；
（四）三十一师应同时向三里庄以南之敌出击，并台儿庄砦内之敌包围而肃清之；
（五）四十四旅除担任河防防敌窜渡外，应协助二十七师之战斗。
当日晚，各部遵令向其当面之敌发起了进攻，冯安邦军于下午6时向前后刘桥、刘家虎之日军濑谷支队主力发起进攻。这时濑谷已接获来援的坂本支队被汤恩伯军团痛击决定撤回临沂的情报，自己派军突击，有被歼的危险，遂于6日下午3时下达其支队于日没后向北撤退的命令。当晓孙连仲部即收复了台儿庄，台儿庄的攻防战至此结束。日军撤退前，自动烧毁弹药辎重。4月7日上午10时，中央社接获前方传来的台儿庄大捷的电讯，立即转达各方，报社刊发号外，电台把佳音播向全中国，全世界。此次战役是在当时平汉、津浦两线我国军队一触即溃，而淞沪会战后又遭受南京惨败的情况下取得的，大大鼓舞了全国军民抗战的决心。从日本政府防卫厅战史研究所战史室编纂的战史所提供的资料看，台儿庄、临沂两战，日军第二军所受损失是空前的：
第五师团（2月20日至5月10日）战死一千二百八十一人，负伤五千四百七十八人；第十师团（3月14日至5月12日）战死一千零八十八人，负伤四千一百三十七人。
对我国军队素抱轻蔑态度的日本军人，在台儿庄一役受到惨重打击后，也不能不承认我国部分守军的顽强战斗精神。现把赤柴八重臧的"步兵第十联队战斗详报"4月2日对冯安邦军第二十七师阎廷俊第八○旅的战斗情况摘录于下：
研究敌第二十七师第八○旅自昨日以来之战斗精神，其决死勇战气概，无愧于蒋介石的极大信任。凭借散兵壕，全部守兵顽强抵抗直到最后。宜哉，此敌于此狭窄的散兵壕内，重叠相枕，力战而死之状，虽为敌人，睹其壮烈亦将为之感叹。曾使翻译劝其投降，应者绝无。尸山血河，非独日军所特有。不识他人，徒自安于自我陶醉，为国军计，更应以此为戒。
台儿庄阻击战，我国军队获得胜利，大大增强了我国人民抗战胜利的信心。但是日本军国主义者是绝对不甘心失败的。日军大本营原批准鲁南作战只限于击败威胁其占领区的有限度的作战，及至濑谷、坂本两支队苦战后被我国军队赶出台儿庄，而我国大量军队又云集在徐州地区，认为是歼灭我国军队主力，挫伤抗战意志的大好机会。因此，于4月3日决定进行徐州会战，随即于4月7日下达了大陆第八十四号命令：
（一）大本营企图击败徐州附近之敌；
（二）华北方面军司令官应以一部有力部队击败徐州附近之敌，占据兰封以东的陇海线以北地区；
（三）华中派遣军司令官应以一部协助华北方面军司令官，击败上项徐州附近之敌，并占据徐州（包括在内）以南的津浦线及庐州附近。
日军大本营对于徐州作战，采取以华北方面军为主、华中派遣军配合的方式。本应由华北方面军统一指挥，因担心两军在指挥权上发生矛盾，遂由大本营派遣作战部长桥本群率领一批参谋人员组成"大本营派遣班"到济南西尾寿造的第二军司令部指挥这场战役。
为了贯彻日军大本营的徐州会战决定，华北派遣军于4月10日制定了如下作战方案：
徐州附近作战指导方策昭和13年4月10日①华北方面军参谋部第一课
第一：方针在徐州附近及津浦线以东吸引住敌之大部兵力，从徐州西面及西南面包围，切断退路，攻占徐州，歼灭敌人。
第二：指导
（一）第一期
1.迅速给第二军增加必要的兵力，该军大约在韩庄、峄县、沂州一线附近将敌扣住，尔后准备进攻，为此，将第一一四师团（缺一个大队）、第十六师团、战车第二大队、野战重炮兵第三、第六联队、后备步兵一个大队、港口监理部一、独立工兵联队（丁）一及其他（船艇、材料等）配属于第二军。
2.华中派遣军按商定以一部迅速从淮阴方面向西北方前进，占据有利地形，将敌牵制在徐州东南地区。
（二）第二期
1.第二军准备完了时，于4月下旬以急袭战术开始攻势运动，特别要从微山湖西侧以有力的兵团南下，切断徐州以西及西南面地区敌之退路。接着配合华中派遣军之一部，将徐州完全包围，攻占徐州，歼灭敌人。
2.华中派遣军以一部配合上述作战，切断徐州东南、南及西南面地区敌之退路，接着攻占徐州。
3.第一军以一部（约一个师团）从兰封附近至范县附近之间渡过黄河（大致与第二军主力开始攻击的时间相同），急速切断兰封东面附近的陇海线和从郑州以南京汉线方面至归德方面之交通。为了渡河，给第一军配属独立工兵（戊）三个中队及必要的折叠船。
此外，在兰封以西的黄河沿岸，尽量积极地采用佯攻以牵制敌人，但在夺取黄河岸前地形时，要避免这一行动。
4.第一、第二军间作战地区境界大致为延伸于寿张-郓城-归德一线，线上属第一军。
5.根据情况，由第二军从微山湖西侧停止机动，直至徐州既设阵地以北消灭敌人。
（三）第三期
1.随着攻占徐州，第二军占领兰封以东附近陇海线一带，以求后方地区的安定。
2.华中派遣军要确保徐州（包括在内）以南津浦沿线。
3.第一军根据情况，以渡河的一部兵力攻占开封及郑州，其具体行动另行命令。
（四）航空兵团，在第一、第二期时，以主力协助第二军作战。在第三期时，主要负责敌后要地及击灭敌航空兵力，另以一部直接协助各兵团。
4月7日，日军濑谷、坂本两个支队被我国军队击败退却后，李宗仁即命令孙连仲沿台枣公路，汤恩伯军沿台枣铁路东侧，追击敌人。但孙军追过南北洛，即被占领獐山、天柱山、黄山及峄县以东山地一线的濑谷支队所阻。汤恩伯军虽经力战夺取了九山，向峄县进攻，但由于正面孙军被日军阻止于獐山一线，汤军侧背受威胁，遂无法进展，反受税郭出动的长濑支队攻击，损失惨重。接着日军第二军在增援部队的协助下转入反攻。4月19日，坂本支队进入向城；同时国崎登旅团攻下临沂；20日长濑支队攻占兰陵。蒋介石在日军开始反攻后，也于4月21日对徐州前线各军作了如下调整：
（一）鲁南之敌，仍系板垣、矶谷两师，济南敌援军万余，其半部已到兖、滕接防；
（二）决依机动防御及运动战击灭敌人；
（三）张自忠军并指挥李仙洲军在临沂东南侧，主力置于沂河左岸牵制该敌，并向敌后方莒县、费县一带发动游击；
（四）庞炳勋军调郯城、马头整补并掩护铁道；
（五）孙连仲军附张轸师及周碞军在刘庄、高皇庙、十字楼北侧高地各附近之线占领纵深据点式阵地持久抵抗，但须控制有力预备队于南北洛附近，并以一部加强台儿庄阵地；
（六）于学忠军附一三九师以主力在常沟、红瓦屋屯之线占领纵深据点阵地，持久抵抗，以一部在作字沟、兰岭镇附近监视向城之敌，但须控制有力预备队于张楼东侧，该军统归孙连仲指挥；
（七）孙震部在韩庄南方运河守备；
（八）汤恩伯军团（欠张轸师）在四户、大小良璧、岔河镇间整补；
（九）卢汉军在台儿庄南侧集结；
（十）樊松甫军两师在贾汪、利国驿集结，一师在徐州集结；
（十一）第三、第九、第五十、第九十二、第一百四十师为总预备队，位置砀山、商丘、兰封，但须以一师位置于丰县。
但是由于临沂等战略支点的丧失，虽然蒋介石调整了部署，亦很难掌握战争主动权了。日军的攻势首先在我鲁南战场的右翼展开，其目的是调我国军队主力东援，以便利日军主力在鲁西南展开和渡过淮河、涡河，切断徐州守军后路，从而歼灭摆在鲁南的汤恩伯、孙连仲两兵团。为此，日军第五师团于夺取临沂后，即派其主力国崎登旅团沿沂郯公路南下。李宗仁为援助临沂前线张自忠、庞炳勋两军团作战，于4月17日命令汤恩伯军团放弃对据守税郭、獐山、向城等地的濑谷、坂本两支队的围攻，除将李仙洲军抽出增援临沂外，汤军关麟征、王仲廉、周碞等军则后撤到兰陵、洪山东南地区占领阵地。至是日军由被动变为主动：日本华北方面军总部为了支援濑谷、坂本两支队作战，除于3月15日将独立混成第五旅团配属于第二军外，又于4月8日、12日分别将末松茂治和中岛今朝吾两个师团配属于第二军。这些增援的新师团到达后，除接收矶谷、板垣两师团的后方警备任务外，复从两个师团抽出五个大队的兵力配属给矶谷师团，以独立第五旅团的两个大队配属给板垣师团。这样除加强了第一线部队的实力外，又从后方解脱出濑谷旅团，于16日集结到枣庄地区。继板垣师团在临沂前线攻势之后，矶谷师团于18日拂晓亦开始集中三个旅团的兵力向孙连仲、汤恩伯两军发起了反攻。矶谷亲自来枣庄指挥，以濑谷支队牵制台儿庄方面的孙连仲军，以坂本、长濑两支队为主攻部队，经过18日一天的激战，汤恩伯军放弃阵地南退，19日晚坂本支队进入向城；长濑支队进抵兰陵附近，濑谷支队亦于19日午后由獐山出击，由于受到周碞军的顽强阻击，进展迟缓。而追击汤恩伯军的坂本、长濑两支队，于21日又与汤军关麟征、王仲廉两军激战于四户镇、大小良璧之线，双方死伤惨重。而汤军作为机动部队，进入台儿庄右侧翼与坂本、濑谷两旅团激战月余，减员尤多。郑洞国师不足两千人，梁恺师仅余千余人，汤之基本部队张雪中师在攻击獐山时即伤亡殆尽，开回许昌整补。虽然孙连仲军在台儿庄坚守阵地，顶住了濑谷支队及从中岛师团调拨过来的草场旅团的进攻，但汤恩伯军团方面却在长濑旅团的攻击下，王仲廉军连失要地，至27日长濑已攻下禹王山。坂本旅团遭关麟征率队阻击，进展迟缓，24日进抵泥沟后即被阻止。而沿沂河南下的国崎登旅团却于24日连续攻下郯城、马头，26日攻抵北谢。李宗仁、白崇禧为了阻止日军在鲁南的攻势，急忙抽调樊松甫、李延年、谭道源三个军及安思溥、吴良琛等师加强汤恩伯军团。这样至4月底始在邳县北依托禹王山、方头山、艾山、南北劳沟等险要建立起一条防线，利用有利地形，构成坚固阵地，与日军进行顽强的阵地战。双方拼消耗，激战半个多月，东久迩宫稔彦王虽然尽量抽调后方警备部队增援第一线，仍不能击破我国军队的抵抗，整个鲁南战场呈现胶着状态。
日军大本营为了解脱东久迩军在鲁南的困境，贯彻其夺取徐州打通南北交通的计划，命令其华中派遣军于5月上旬发动对徐州的进攻。由怀远出动的荻洲师团9日攻陷蒙城；沿津浦铁路北上的吉住师团10日进入板桥；沿运河北进的左藤旅团7日进占阜宁。接着又派藤田师团进驻蚌埠、怀远。在畑俊六华中派遣军三个多师团的打击下，廖磊、冯治安等军纷纷败退。荻洲师团13日抵达永城，当即抽出战车第一大队、轻装甲车一个中队、工兵一个中队、步兵半个大队组成岩仲挺进队直扑陇海路，于14日下午3时30分炸毁汪阁东面铁桥，15日占领黄口车站。
在日军大本营的统一指挥下，华北方面军第二军司令官东久迩于5月7日设作战指挥所于兖州，命令末松师团接替矶谷师团阵地，东联板垣师团，扣住鲁南前线的孙连仲、汤恩伯两兵团。以中岛师团和配属的土肥原师团的酒井隆旅团于5月11日向防守鲁西南的孙桐萱集团军发动攻势。孙军不敌，纷纷向西败退。中岛以战车第二大队、步兵一个大队、野炮一个中队、工兵一个小队为基干组成今田支队，向鱼台东面丰县西侧急进，于15日8时40分在汪阁东西炸毁铁路三段，与荻洲师团岩仲支队会师。至此，陇海铁路被切断。配属给中岛指挥的酒井旅团，于11日夜袭占郓城，拊黄河守军李必藩师之背，接迎土肥原率师团主力于12日2时渡过黄河，击败李必藩师，14日占领菏泽，直扑兰封、内黄。至此，李宗仁指挥的五战区各军已陷入腹背受敌态势。为免于被歼的命运，李宗仁除派冯治安军团开宿县，刘汝明军团布防肖县以西，俞济时、李汉魂两军布防永城以北，张自忠率五十九军布防徐州西沿陇海铁路阻敌前进外，另于18日向孙连仲、汤恩伯两兵团下达了向豫东、皖北突围的命令。由于担任掩护撤退的各部顽强阻止敌人前进，而日军担任追击的兵力有限，在辽阔的苏皖豫边平原上到处可以通过敌人的封锁线，经过一个多星期的紧张行军，防守鲁南三个多月的四十万大军除损失一部分装备外，基本上都突围到苏北、皖北、豫东安全地带。