日军第13师团的北路进攻，损失相当严重，已经无力渡淮河而继续北上。而13师团遭到顽强抵抗以及灵活反击的情报，竟然没有受到日军指挥系统的重视。1938年2月13日，日本大本营下令撤销华中方面军所有的战斗序列，包括上海派遣军以及第10军的组织，另外改设华中派遣军，由畑俊六大将出任司令官。这代表大本营对于松井石根无法控制部队的烧杀掳掠、严重败坏军纪行为的集体严惩。松井石根虽然立下击溃上海中国军队以及攻克中国首都的大功，不但未获得高升与重用，反而从此退出现役，显见日本当局对于南京大屠杀是相当知情的。它从另一个角度佐证了南京大屠杀的真实与可靠。
蒋介石因此判断华中方面军在短期内不可能会有重大的作战行动，遂命令李宗仁放胆在北线的鲁南地区对日军进行反击战，以诱使华北方面军南下。此时的日本第2军十分焦躁与轻敌。他们要求华北方面军允许其向南攻击中国军队在鲁南的基地。华北方面军也认为，日军不能划地自限遭受中国军队的一再反击，因此向大本营争取到给予第5与第10师团攻击鲁南的许可（第5师团1938年1月转隶第2军）。不过大本营仍然划出日军南下的禁令线：不得超过临城到临沂一线。第5与第10师团奉命出击之后，立刻改向徐州北部，形成左右两翼的钳形攻势。
第5师团可以说是憋了一肚子的气，从华北的南口开始，经过平型关、忻口作战，连连碰上硬钉子，损失很大，就连进攻青岛也落在海军陆战队之后。日本的海陆两军差点没在青岛爆发枪口相向的冲突，最后惊动了大本营方才了事。第5师团还不断地受到中国军队的反击而遭受损失，因此在接到可以南进还击的命令之后，立刻率军往南猛攻，完全没有考虑孤军深入的危险。李宗仁立即派遣庞炳勋部在临沂建立防御阵地，诱敌深入，抵抗日军第5师团的正面攻击。
2月19日，第5师团与日海军陆战队会师青岛后，旋即南下，连占沂水、蒙阴等地。至潍县后，沿台潍公路南下，准备夺取鲁南要地临沂，以便从东路进攻徐州。2月21日，第5师团之第21旅团长坂本顺率3个步兵团、一个炮兵团、一个骑兵营共约2万人，向临沂突击，沿途遭到中国第3军团等部的节节抵抗。日军连陷诸城、莒县、沂水，于3月5日到达临沂以北之汤头、白塔一带，距城仅十余里。
3月10日，日军在坦克、飞机与炮兵火力掩护下，向临沂猛攻。
中国驻临沂守军实际兵力仅有5个团，以及从青岛撤退的海军陆战队。与日军激战后，庞炳勋部伤亡极大，连电告急。第5战区急令张自忠之第59军从滕县附近紧急驰援临沂。张自忠治军一向刚烈严明，在冀察政务委员会任职期间，与日本人进行各种周旋，曾受到不少怀疑、批评，一肚子委屈，因此张在从北平脱困、重掌兵权之后，对日作战特别勇猛。张自忠部远在淮河流域一带，接到命令之后，即用火车将59军运到距离临沂还有180公里的峄县，立刻以最快的速度兼程向临沂方向增援。这时日军已知张部的动向，但是却错误地估计59军最快也要3天时间才能从峄县赶到临沂。据此，日军做出了抢先击溃弹尽援绝的庞炳勋部，然后再以逸待劳反击张自忠部的作战部署。
日军的如意算盘，被张自忠部的飞天而降所粉碎。该军自峄县日夜兼程地急行军，竟然在一日一夜之内提前赶到临沂。3月14日凌晨，第59军强渡沂河，向敌发起反击。经数日激战，连克亭子头、大太平、申家太平、徐家太平、沙子岭等多处敌据点。3月16日，日军向第59军石家屯东南至大安子、崖头、刘家湖、钓鱼台之线阵地反扑，第59军第38师伤亡虽重，仍然坚守阵地。18日，第59军与第3军团从东、南、西三面夹击汤头、王疃、傅家池附近日军。日军绝对没有想到中国军队竟然会对其进行内外夹攻，顿时乱了阵脚。经过3天激战，张、庞两军先后攻克李家五湖、辇沂庄、车庄，日军被击退，向莒县逃窜。中国军队取得临沂第一次战斗的胜利。
在3月14日到18日的战斗中，日军第5师团伤亡约3000人，损失惨重，无法继续支撑作战，只好撤退回莒县固守待援。
日军第5师团在临沂遭到中国军队围攻之时，日本的第10师团正在沿着津浦铁路南下，形成对徐州的左翼攻势，并牵制攻击第5师团右翼的中国军队。3月14日，日军第10师团首先向滕县发起进攻。面对日军左右呼应的钳形攻势，李宗仁所指挥的兵力有限，他一方面优先将部队东调救援临沂，左翼西线只有先调川军122师王铭章部在滕县进行抵抗；一方面急电蒋介石，请求派驻在河南东部的中央军汤恩伯第20军团驰援中国军队左翼。蒋介石立刻令汤恩伯部驰援滕县。
中国军队的运动速度太慢，被日军阻挡在临城，救援滕县的部队姗姗来迟。王铭章部的川军无论人数还是装备与火力，都与日军相差过于悬殊。日本第10师团依靠强大的火力和空军的密切协同，猛烈攻击王铭章部的阵地。川军奋勇血战，死伤严重。3月17日，阵地被日军突破，师长王铭章力战身亡。滕县之战虽然失利，但为李宗仁的调兵遣将争取到了宝贵的时间。这时，孙连仲的第2集团军已经赶到徐州，并开始在徐州北部的台儿庄进行布防；汤恩伯的部队也渡过大运河，开始与南下的日本第10师团接战。
第10师团是一支重装备的机械化部队，又有空军协同支援作战，指挥官矶谷廉介中将根本不把中国军队放在眼里。在攻占滕县之后，又攻克临城，这是日军大本营给华北方面军的南下禁令线。此时，矶谷判断，李宗仁手中的兵力不足，可以调动的部队已经先在右翼与第5师团缠上了。所以，他决心大胆深入，越过临城与枣庄前线直捣徐州，一举攻占中国军队第5战区司令部。遂命令第10师团继续全速南下，而把禁令线当成耳旁风。
这时，鲁南战局的重心已转移到左翼的津浦铁路，矶谷的部队原本可以沿着津浦铁路由济宁南下，直接冲向徐州。但是，矶谷在得知右翼的板垣部受到围攻、重创，以及孙连仲部又在东边的铁路支线向日军发动诱敌攻击后，遂决定先向东旋转，再向南沿着铁路支线顺势攻击。3月25日，第10师团已经进攻到台儿庄的中国军队阵地。矶谷认为，日军只要攻占台儿庄、渡过运河，就可以直指中国的第5战区司令部徐州，同时也可以减轻左翼第5师团所受到的压力。
台儿庄位于徐州东北30公里的大运河北岸临城至赵墩的铁路支线上，北连津浦路，南接陇海线，是扼守运河的咽喉，徐州的门户。中国第5战区为确保台儿庄阵地，以保卫徐州，针对日军的进攻及时进行了部署调整：令孙连仲的第2集团军的3个师扼守台儿庄正面阵地；令汤恩伯的第20军团以一部担任台儿庄至韩庄间运河南岸防务，以两个军向峄县（今峄城）、枣庄日军侧背攻击，准备配合孙连仲部围歼敌人。3月24日，蒋介石到徐州视察，同时派副参谋总长白崇禧、军令部次长林蔚、第一厅（作战厅）厅长刘斐等组织临时参谋团，于徐州协助李宗仁指挥作战。
白崇禧离武汉赴徐州前，特邀周恩来和叶剑英到其寓所，商讨对敌作战方针。周恩来对白说：在津浦线南段，已令新四军第4支队协同李品仙、廖磊两集团军，采取以运动战为主、游击战为辅的联合行动，运动于辽阔的淮河流域，使津浦线南段的日军时刻受到威胁，不敢贸然北上支援南下日军。在徐州以北应采取阵地战与运动战相结合的方针，守点打援，以达到各个击破的目的。白崇禧对此建议深加赞赏。
此后，周恩来又派张爱萍以八路军代表的名义去徐州见李宗仁，劝李在济南以南、徐州以北抵抗日军，同日军打一仗。张爱萍到徐州向李宗仁讲了几条：一是日本侵略军占济南后南下，孤军深入，骄兵必败；二是济南以南徐州以北的地形很好，台儿庄一带都是山区，对我有利；三是广西军队是有战斗力的，北边有八路军在战略上配合，集中兵力打一个大仗，可以给日军一次沉重的打击。李宗仁表示赞同。
防守台儿庄地区的孙连仲的第2集团军，从“卢沟桥事变”之后奉命驰援华北战场，在与日军几次的大型交战之中，都表现得可圈可点。在攻击上，第2集团军是一支战斗力旺盛的队伍；在防守上，更是一支敢于进行决死抵抗的部队。
根据此次战役的总体部署，李宗仁要求孙连仲部在台儿庄附近布下袋形的防御阵地，以吸引日军的攻势，然后下令装备与火力较佳的汤恩伯第20军团在外围进行运动战，当日军的攻势在台儿庄受到阻挡之后，立即设法由外线进行包围，攻击日军的背侧，形成内外夹攻的局面，以围歼日军。当时孙连仲在台儿庄的口袋阵地的部署是，以31师池峰城部防守台儿庄主阵地，30师与110师在台儿庄以西，27师与独立44旅在台儿庄以东，分别建立阵地。这样日军一旦攻入台儿庄，就会陷入中国军队的口袋阵地之中。
此时，李宗仁担心日军不向台儿庄已布好的阵势里钻，便催促池峰城率领王郁彬的185团北上诱敌深入。这时，日军矶谷师团正从峄县沿台枣支线向台儿庄猖狂进犯，双方在泥沟发生遭遇战。池峰城率军奋战一天，又调骑兵生力军助战，歼灭大量日军尔后佯装溃败，撤退到小村北洛。
矶谷廉介不知是计，指挥第10师团主力快速追击。池峰城又退兵南洛，设下伏兵痛歼猛追之敌。为打得更逼真，李宗仁指挥孙连仲的第2集团军在台儿庄外围村落与日军展开激烈的拉锯战。池峰城见诱敌深入的任务已经完成，就率领185团退回台儿庄；日寇冲过刘南湖、三里庄，直逼台儿庄石头城下，举世闻名的台儿庄之战正式展开。
惨烈的战斗发生在台儿庄内，师长池峰城率军奋战，立下大功。3月23日，集中在峄县的矶谷师团千余人，在重炮10门、战车8辆的掩护下，向台儿庄发起进攻。池峰城第31师附炮兵1营奉命在台儿庄运河北岸设防，构筑工事，实行阵地固守，御敌南下。结果这股骄狂突进之敌被守军猛打痛击之后，剩残敌300余人窜向北洛。
24日，日军援兵开到后，遂开始猛烈炮轰中国军阵地及防御工事，战斗激烈时，第2集团军阵地每日落炮弹达六七千枚之多。炮轰之后，日军以坦克为前导，向台儿庄守军阵地猛冲，将我台儿庄外围阵地工事摧毁后，敌步兵乃跃入据守，步步向前推进。台儿庄一带，耕地之下盛产石块，居民叠石为墙，每一住宅就是一座堡垒。这种石墙被敌人冲入占据之后，中国军队因无平射炮，又无坦克，无法反攻。但守军以血肉之躯与敌方炮火、坦克相搏斗，至死不退。敌人猛攻三昼夜，才冲入台儿庄城内，与守军发生激烈巷战。至此，第2集团军已伤亡过半，渐有不支之势。当此危急时刻，李宗仁严令孙连仲死守待援。
3月27日，日军在9辆战车的掩护下猛攻台儿庄，突破北门，占领东北角。中国战防炮大显神威，击毁敌战车6辆。从28日起，敌我在台儿庄、刘家湖附近激战。日军飞机、大炮昼夜轰炸，台儿庄车站、煤厂变成一片废墟。第2集团军与日军进行近战、肉搏战，使其战车、大炮失去威力，打退日军无数次进攻。当晚，日军300余人由城西破口冲入西北角，联合该处顽抗之敌向中国军队突击，但遭到中国守军炮击，并经池峰城师一部反击，战至深夜，入侵之敌大部被消灭，残敌退据大庙死守。池师亦死伤500余人。
当战事激烈之时，蒋介石偕副总参谋长白崇禧亲到台儿庄，召见将士，鼓励杀敌。蒋说：“日军有‘不可战胜’之神话，望我军将士奋威，打破这个神话！且见今日事态，只要我军有最后5分钟之坚，则此神话必破无疑！”艰难时刻，蒋介石亲赴前线，鼓舞了第5战区官兵的士气。临返回时，他特意把“小诸葛”白崇禧留在了徐州，协助李宗仁指挥作战。
日军此时后退无路，只有一拼到底。4月1日，日军集中机械化部队3000人攻打兰陵一带，以求突破外线。汤恩伯指挥第20军团的两个军向敌发动猛攻，对日军占领的村子全部用机枪封住村口，再放大火，汤称此为“堵洞灭鼠”之法。一时间将刘庄、马庄、柿林园等村里的日军杀个干净。到4月2日，中国军队四面合圈，喊声震天，这一带的日军进攻受挫，后退无路，纷纷打死马匹，作垂死之战，不时有人以利刃切腹自杀。不知为什么，汤恩伯在外围杀得性起时，却偏偏忘了最大的猎物——台儿庄内的矶谷师团主力。
台儿庄方面，29日战事最为激烈。池峰城师对庄内日军实行反攻，一支72人的突击队在迫击炮掩护下攻击文昌阁，将盘踞其内的日军尽数聚歼。黄樵松之第27师，则对台儿庄北面之日军实施反击，攻克了邵庄、园上、孟庄，击毁敌坦克两辆。陈金照师向南洛、三里庄挺进，截断日军后路，并给日军增援部队以重创。日军濑谷旅团长急令赤峰联队驰援台儿庄，并亲赴前线督战。敌在援军到达后大举反攻，又夺取台儿庄东半部，在庄内与池师相持。30日上午，第31师由副师长康法如率军向西北角日军反攻，与敌肉搏数小时，31师阵亡300余人，敌仍据东南半部、西北角顽抗。黄师亦被迫撤回运河南岸。日军企图从顿庄闸附近渡河，由西边包抄台儿庄，但被击退。
4月1日，黄樵松第27师800余人攀登寨墙突入东北角，袭击日军。敌仓皇失措，被击毙甚众，中国军队占领东北隅及东门以北几座碉楼。2日夜，池师250人组成奋勇队突入庄西北角进行夜袭，日军仓促应战，中国军队夺回西北角。双方在庄内展开激烈争夺，陷入苦战。小小的台儿庄里里外外，双方伤亡逾万人，已是尸积如山，血流成河，随便抓起一把脚下的焦土，就能扒拉出几块弹片甚至碎肉。
战至4月3日，火力占极大优势的日军步步推进，31师师长池峰城将军已记不清组织几批敢死队出击了，他只记得每次数百人的敢死队回来不了几个人。这时全庄三分之二已为日军占据。日方电台甚至已宣布将台儿庄全部占领。池峰城觉得再拼下去，31师将全军覆没，便向老长官孙连仲司令请示，可否转移阵地，暂时撤到运河南岸。
孙连仲实在没法拒绝池峰城。一师之众已在一个小小的台儿庄与日军重兵血战八昼夜，对这样一支部队他还能说什么呢？何况31师是第2集团军的王牌，这样个消耗法不是等于在拿刀剜他的心头肉吗！