3月28日，日军的攻击越来越猛烈，坚守台儿庄阵地也越来越艰难。第31师官兵遵照李宗仁的命令，不畏牺牲，英勇抗击，始终坚守阵地。
台儿庄战斗到了关键时刻。这天，李宗仁严厉命令第20军团用主力攻击台儿庄以北的日军的侧背，配合第2集团军的官兵打击日军。
3月29日，天刚蒙蒙亮，孙连仲总司令就把师长、旅长和炮兵团长召集到一起，进一步明确了坚守台儿庄的坚强决心。孙连仲对大家说：“根据种种迹象分析，我们当面的日军正在等待援助。我们要以钳形攻势把这些日军歼灭。第31师仍然要坚守阵地，要牢固树立独自为战的思想。同时，我们还要组织部队出击，打阵地战，内外配合，就会主动得多。”
日军矶谷廉介中将为了迅速攻下台儿庄，命令濑谷启少将即刻把旅团主力投入战斗。
为了钳制日军南下，减轻台儿庄战场的压力，3月30日，第5战区命令第20集团军以一部兵力对峄县的日军进行佯攻，另以一部分兵力迅速向泥沟前进，协助第2集团军的部队打击围攻台儿庄之敌。这支中国军队千方百计破坏铁路、公路交通。切断峄县与台儿庄这两部分日军之间的联系。第89师第529团团长罗芳圭身先士卒，带领部队同日军浴血奋战。
这天，******命令第5战区的部队死守台儿庄。
李宗仁司令长官下达了第2集团军死守台儿庄阵地命令，同时，李宗仁再次严令汤恩伯率领部队迅速南下，协助第2集团军歼灭进攻台儿庄之敌。
3月30日，日军荣福团在台儿庄遭到中国军队的南北围攻，处境危险。濑谷旅长急忙命令赤峰团前往增援，自已则赶到台儿庄前线督战。日军竭力全力攻击台儿庄阵地。
3月31日，中国军队把进入台儿庄的日军全部包围起来了。
台儿庄的日军处于危急状态。为了策应台儿庄的战斗，日军第2集团军命令攻击临沂的坂本支队转向台儿庄，支援台儿庄战场。坂本支队于31日到达向城、爱曲地区，从侧面攻击第20军团，企图解第10师团之围。汤恩伯指挥的第20军团发现这路日军后，命令第52军和刚刚到达的第57军一起，围攻坂本支队。经过数天战斗，阻击了坂本支队，使日军增援台儿庄的计划没有实现。
4月1日，日军为了增加台儿庄方向的兵力，不得不把第8旅团第39联队的一个大队派遣到台儿庄。连日激战，台儿庄难以攻克，日军第10师团已经山穷水尽，矶谷廉介中将能够掌握的预备队，也只有5个营的兵力了。
4月3日，日军再次向台儿庄阵地上的中国守军发起攻击，不断投掷催泪瓦斯弹。当日军攻占台儿庄的东南门后，突入城寨百余米，台儿庄大部分市区的街道被日军占领。第31师官兵在激战中死伤2/3，仍然据守南关的几处阵地，同日军拼死抵抗。
李宗仁分析了战场全局情况，拿起电话，冷静地命令孙连仲：“第2集团军各部必须坚守至次日拂晓，拖住日军，等待汤恩伯军团前来增援。”
孙连仲毫无惧色，坚定地回答：“长官有此决心，我第2集团军牺牲殆尽不足惜，连仲亦以一死报国家。”
4月4日深夜，汤恩伯指挥的部队到达台儿庄的北面。这时候，台儿庄已经有2/3被日军占领。
李宗仁原来认为，汤恩伯的部队4日中午即可到达，因此，命令孙连仲于4日晚上向日军阵地反击。这天半夜，孙连仲总司令把阵地上所有能用的兵都集中起来了，伤员们来了，炊事员，担架兵，都站到了敢死队的行列里。这支数百人的敢死队正要出发，电话铃响了。
池峰城师长在电话中向孙连仲总司令请示：“是否可以撤退到运河南岸去？”
孙连仲毫不犹豫地命令：“部队决不能撤退。士兵打完了，你自己填上去。你填过去了，我就来填进去。有谁敢过河者，杀无赦！”
池峰城师长以必死的决心组织部队抵抗，把增援的日军击退。
这夜，第31师的敢死队在夜暗中冲入日军阵地。日军连日作战，没有料到中国军队会在半夜里突然杀出来，仓惶应战，溃不成军。敢死队的一场夜战，台儿庄阵地被孙连仲夺回了3/4。
这是中国守军的一个奇迹。这场夜间战斗，汤恩伯指挥的部队没有参加。
4月5日，******打电报给汤恩伯，严厉指出：“台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于6、7两日奋勉图功歼灭此敌，毋负厚望。”
在******的严厉命令下，汤恩伯指挥部队向日军的后背攻击。
4月6日拂晓，台儿庄阵地上仍然是硝烟弥漫，几声枪响打破了黎明的寂静。濑谷启少将看到自己的部队损失惨重，已经难以继续战斗了，几经思考，命令部队停止攻击，收缩阵地，准备于傍晚撤出台儿庄。谁知，矶谷廉介中将接到以上情况报告以后，坚决不同意日军撤出阵地，命令他们立即转入攻势行动，去消灭台儿庄的中国守军。
濑谷启看到中将发来的命令，又看了看阵地上到处都是死伤的日本兵，把这份命令紧紧地捏在手中。日本军队军纪严明，这天晚上，有的日本鬼子却不顾军纪，逃离台儿庄。
晚上，中国军队对日军发动全线攻击。日军队形混乱，东奔西逃。第2集团军和第20军团的官兵内外夹击，越战越勇。
为了彻底歼灭溃逃的日本鬼子，第89师第529团团长罗芳圭同副团长李有余一起来到前沿阵地，仔细观察敌情。他们这支部队已经同日军激战多日了，现在要争取最后的胜利。突然，一发炮弹落下来，在罗芳圭团长的身旁爆炸了。罗芳圭团长身一歪，倒下了，弹片击中了他的头部和胸部。
警卫人员见状，大吃一惊，急忙过来抢救团长。
罗芳圭躺在一名战士身上，微微睁开眼，当他看到周围的人都为抢救他而忙碌时，想挣扎着坐起来。他用微弱的声音说：“余死无足惜，君等但须继续前进……”
一位年轻的团长终因流血过多，在大会战胜利的前夕，光荣牺牲了。
日军被击溃了。将士们聚集在罗团长身旁，把一束束鲜艳的桃花放在他的遗体旁。山坡上，那些盛开的桃花在微风中摇摆，仿佛在向英雄志哀，向英雄告别。
至4月7日凌晨，被围困的日军濑谷支队除少数鬼子突围到达峄县固守待援外，其余全部被歼灭。
台儿庄战役，以中国军队的全胜而落下了帷幕。
一场血战结束了。第5战区司令长官李宗仁在作战厅长刘斐的陪同下，来到台儿庄阵地，进行巡视。看到战场上中国军队官兵壮烈牺牲的动人情景，刘斐对李宗仁说：这场战斗打得这么苦，国民政府应该大力宣传，以振士气。
李宗仁频频点头，他对身边的人说，把台儿庄战役的详细情况电告各方，多做宣传，扩大影响，鼓舞抗日士气。
台儿庄战役，中国军队给予来犯日军歼灭性的打击，摧毁坦克30多辆，缴获了大批军用物资。据日军华北方面军参谋第3课统计，2个师团一共死伤1.2万余人。
这是中国军队在抗日战争中取得的最大的一次胜利，这个胜利，鼓舞了中国军队的士气，沉重打击了日军的嚣张气焰。日军《步兵第10团战斗详报》记载，台儿庄中国守军“决死奋战之状历历在目”，“士兵依靠堑壕顽强抵抗直到最后”；堑壕中尸山穴河，“睹其壮烈者亦为之感叹”。
台儿庄大捷，鼓舞了中华民族的抗战激情，掀起了抗击日寇的高潮。为了庆祝这一胜利，武汉举行了10万人的大游行，游行队伍前面，用卡车载着李宗仁和白崇禧的巨幅画像。军事委员会参谋长何应钦在国民党五届五中全会报告军事时，称：“敌坂垣、矶谷两师团，直迫台儿庄，经孙连仲部坚强抵抗，以杨军团由东北向西南压迫，并以孙桐萱、曹福林、李明扬各部，渡过微山湖，断敌交通补给，迄4月3日，我包围之势已成，对台儿庄之敌，乃实行总攻，敌伤亡约达2万人，几全部歼灭，我俘获无算，为抗战以来空前之大胜利。”
徐州会战，日军大本营深感兵力不足，侵华的战线太长就是一个重要原因。
******特别强调：“我们若能运用运动战、阵地战、游击战3种方式互相配合，必能使敌军处于极困难地位。”台儿庄战役，就是阵地战与运动战的互相配合，奏响了胜利的凯歌。
国民党高级将领陈诚认为，台儿庄之战胜，在战略上考察，乃各战场我军努力之总和，不可视为一战区之胜利。
徐州会战期间，八路军积极开展敌后游击战，牵制了日军的大量兵力，使其无法向徐州战场增援。当时，在华日军一共有9个半师团，用于山东方向作战的只有第5、第10师团。如果没有广泛的游击战的配合，日军再向山东方向增加兵力，就可能出现另一种结局。
台儿庄战役的胜利，是抗日将士用鲜血和生命换来的。台儿庄大捷，中国军队付出了沉重的代价。参战4.6万多名官兵，伤亡和失踪7500人。战斗结束后，全国的许多报刊纷纷报导抗日将士打击日本侵略者的英勇事迹，其中，长沙《大公报》在4月15日发表了题为《扼守南口威震中外，台庄会战为国捐躯》的文章，悼念罗芳圭团长。国民政府军事委员会追赠罗芳圭团长为陆军少将。******等国民政府军政要人，有的为其墓碑题词，有的亲送挽联。
****中央副主席******得知罗芳圭团长在台儿庄战役中以身殉国，深感悲痛，提笔写挽联悼念这位抗日将士。
中国人民不会忘记抗日英雄。1988年5月18日，中华人民共和国民政部追认罗芳圭为革命烈士。
6.在黄河水泛滥中结束
台儿庄战役结束以后，中日两军的统帅部重新判断徐州地区的战争形势，都大量向徐州地区调集军队，但战略出发点不同。
台儿庄战役，中国军队歼灭日军万多人，一度掌握了徐州会战的主动权。中国最高军事当局受到台儿庄大捷的鼓舞，对徐州地区军事态势作了新的分析判断，日军不可战胜的神话再一次被打破。对于下一步行动，国民政府一些高级将领意见不一致。有人认为，徐州附近的中国军队应转移阵地；重新建立起一道保卫武汉的新防线。有些人主张，要利用部队高昂的士气，再打一个胜仗。
******接受了后一种建议，决定“扩大台儿庄战果”，在徐州地区同日军进行一场决战，夺取决战的胜利。因此，******按照决战的意图，把战斗力强的部队纷纷调到徐州地区。出于这一战略考虑，第5战区的部队由会战初期的29个师迅速增加到64个师又3个旅，总兵力约60万人。
日军大量向徐州地区增加兵力，主要出于4种考虑。
一是通过台儿庄战役，日本军国主义者看到徐州附近集结了大量中国军队，认为这是进行一场决战的好时机，是歼灭中国军队的主力，挫伤中国军民抗日意志的好时机。
二是春季来临，日军对北方强国苏联的战备有所松弛，在全局上日军有较多的机动兵力可以南调，战略预备队的力量加强。
三是日本最高军事当局受台儿庄战役失败的影响，对中国军队的战斗力进行新的评估，认为徐州不可能轻易取得，必须调集重兵，四面合围，才能打通津浦铁路，攻占徐州。
四是台儿庄作战失败后，一些军官萌发了报复中国军队的心理。
出于以上考虑，日军统帅部对徐州地区的军事态势作了新的判断，对北平、天津、山西、江苏、安徽等地日军的作战任务重新进行调整，抽出第14、第16、第114师团，命令这3个师团向徐州地区运动，配备各种重武器，调遣数百架飞机，进行徐州作战，打通津浦路。
4月3日，日军大本营研究了进行徐州作战的可能性。
4月7日，日军大本营下达了组织徐州作战的命令。陆军部根据上述命令，制定了《徐州附近作战指导要领案》。其基本作战意图是：徐州作战，华北方面军和华中派遣军联合组织实施，以华北方面军为主，华中派遣军配合华北方面军作战。作战开始后，主力兵团向西迂回，从侧后保卫徐州，歼灭中国军队第5战区主力。其任务区分主要是：
华北方面军第5、第10、第14、第16师团向开封以东行动，攻占陇海铁路沿线以北地域；主力南下，进攻徐州；用2个师团向兰考、商丘方向进攻，切断中国军队向西的退路。
华中派遣军第9、第13师团在徐州以南行动，占领徐州以南的津浦路和合肥地区，从南面策应华北方面军进攻徐州。
4月中旬，“日军大本营派遣班”进入中国，在济南设立指挥机构。这个派遣班由参谋部作战部部长桥本群少将率领，主要任务是协调徐州南、北日军两大兵团的作战行动。4月17日和18日，日军在济南召开了参谋工作会议，华北方面军和华中派遣军有关人员在会上明确了两军进行徐州作战的有关事宜。由此可见，日军大本营对徐州作战是多么重视。
4月18日，日军发起了新的攻势。
日军第5师团遭到中国军队沉重打击以后，稍经补充休整，以步兵第9旅团为骨干组成国崎支队，从临沂西北的义堂地区南进。第10师团分成3路纵队，从薛城、峄县、向城之间60公里的正面上向南攻击前进，对中国守军进行牵制性进攻。第16师团的草场支队担任第10师团的预备队，片桐支队担任第5师团的预备队。中国军队第2集团军，第20、第3军团，第27军团第59师奋起抗击。日军每前进一步，都受到中国军队的沉重打击，进攻迟缓，到月底，这路日军仍被阻止在韩庄、邳县、郯城一线地域。