内山英太郎指挥所部发动对郑州和平汉南段的进攻，将部队分为三路。长野佑一郎第三十七师团、秋山义隆独立第七旅团、藤田骑兵旅团为左翼军，由中牟渡河"扫荡"汜河西岸的守军进占新郑后，即接应中央军夺取郑州和密县。以竹下义晴第二十七团为右翼军，部署在豫北的怀庆府，在孟津、铁岗间摆出渡河攻洛阳的姿态，以牵制蒋鼎文指挥的四个集团军东进援助汤恩伯指挥的部队在郑州和平汉南段的战斗。以本乡义夫第六十二师团、林芳太郎第一一○师团和长岭喜一第九旅团及山路坦克第三师团主力为中央军，从黄河铁桥渡河后攻打邙山头霸王城要塞成功后，即夺取荥阳、广武等要隘，将王仲廉集团压迫到密县以西地区。以一一○师团和步兵第九旅团牵制汤恩伯军主力王仲廉集团，然后集结十二军主力沿平汉路南下，歼灭李仙洲集团，夺取许昌、禹县、襄城诸战略要点，以急风骤雨之势向右翼旋转迂回闪击汤恩伯军主力于登丰地区，并予以歼灭。
4月17日夜和18日拂晓，日军第三十七师团和独立混成第七旅团分别由中牟和董砦渡河，击破部署于中牟正面阵地的刘昌义暂十五军、萧劲暂二十七师的抵抗，其一部于19日黎明突入郑州城的一角。21日，日军第七旅团击破吕公良新二十九师的抵抗，攻下新郑。由黄河桥头出动担任夺取郑州以北北邙山主阵地任务的日军一一○师团，从19日拂晓起，在二百架次飞机的轮番轰炸和五十余门重炮的轰击配合下，于20日晨3时攻下邙山的高峰魔鬼顶，消灭了我国轰击黄河甲桥和进攻霸王城日军阵地的炮兵指挥所，遂使进攻霸王城预十一师阵地的六十二师团于20日下午6时攻下王龙口和祥符营。同时进抵三官庙西南地区的一一○师团也突入汉王庙，21日午又进入荥阳。19日已有一部突入郑州的三十七师团也将兵力集结到郭店，20日晨开始总攻。至此，负责防卫郑州和邙山的吴绍周预十一、一一○两师已陷入腹背受敌的态势，吴绍周遂放弃郑州，于20日晚向密县撤退。郑州既失，汤恩伯根据蒋介石的指示，将所指挥部队编为南、北两兵团。李仙洲为南兵团司令，指挥贺粹之第十二军三个师，马励武第二十九军三个师，赖汝雄第七十八军两个师，刘昌义暂编第十五军三个师及陈又新汜东挺进军两个旅，布防于平汉沿线的临颍、鄢陵、许昌、禹县、郏县、宝丰、叶县、襄城等城，利用杂牌军和新组建的部队，并依靠旧式城郭，将日军吸住与之拼消耗。另以自己的嫡系十三、八十五两个军编成北军团，以王仲廉为司令，集结在登丰、临汝山区养精蓄锐，俟日军与杂牌军在城郭争夺战中筋疲力竭，向黄河以北撤退时，汤再督所部精锐两个军出山拦腰截击，以取得胜利。
但是蒋介石和汤恩伯的希望完全落空了。日酋内山英太郎为扫除南下许（昌）郾（城）再向右侧作大迂回时来自侧背的威胁，在攻下郑州、新郑后，即于21日以三十七、六十二和一一○师团主力，追击由霸王城和郑州撤退下来的吴绍周八十五军，赵琳、廖运周两师均死伤惨重，重武器损失殆尽，一一○师副师长被俘。留守后方的张文心第二十三师比较完整，但在配合石觉第十三军蔡剑鸣第四师22日阻击日军进犯密县的战斗中，与第四师同样遭到了不小的损失，至23日下午1时始放弃密县，退往城西南山区固守。内山既然打残了汤恩伯六个突击师中的四个，认为汤军短期内难以发动攻势，遂留置一一○师团和步兵第九旅团于密县迄虎牢关一线，阻击王仲廉、孙蔚如两集团军东下，将其三十七、六十二两师团和独立混成第七旅团、骑兵第四旅团集结于新郑、洧川以南，在山路坦克第三师团的配合下，沿平汉路南下，发起夺取许昌、禹县，迂回闪击汤恩伯兵团的战斗。
自从19日李仙洲指挥的南兵团各部陆续丢失新郑、尉氏、洧川等城后，为确保豫中重镇许昌、禹县，李仙洲即以卯俭甲电命令暂十五军军长刘昌义督率所部守许昌，二十九军军长马励武率所部守禹县，贺粹之督率八十一师守郏县，二十二师守叶县，一个团守襄城；二十师主力任首山岭迄武山间守备，并指挥二十二师守襄城的一个团，贺自率暂五十五师驻宝丰指挥战斗。内山英太郎将王仲廉集团驱赶到密县以西后，即迅速将进攻李仙洲集团的各部日军秘密向新郑以南地区集结。23日傍晚，长野师团即以突然袭击夺取了和尚桥，其另一部于24日晨攻占了长葛城。吕公良率新二十九师反击未奏效，即将兵力集结到许昌和外围组织抵抗。内山夺取许昌之战，以长野师团担任许昌城的正面攻击任务；本乡师团部署在许昌西北颍桥附近，阻击禹县援许昌的国民党军；秋山旅团部署在许（昌）临（颍）路以东，阻击襄城的我国援军；藤田骑兵旅团进入许昌以南，截断许昌的我国守军退路，然后进入北舞渡附近，准备以后向宝丰、临汝挺进；由华北开来的关东军竹下师团，部署在许昌城东，与秋山旅团配合防止守城部队由东和东南两面突围，俟攻下许昌即向郾城挺进，接应北上的宫下步兵第十一旅团，击破陈大庆部的抵抗，打通平汉南段交通后，入列笠原十一军序列；山路第三坦克师团栗栖联队（附步兵和工兵中队）部署在任店街，承担突破城南门的任务。内山部署完毕，即于29日晨以长野师团分别由北、南、西三面，秋山旅团由东南，开始向据守许昌城外围阵地的吕公良新二十九师发起进攻，至黄昏，吕师城外阵地全毁，遂退入城内固守。汤恩伯为达其在许昌城吸住敌人，以便王仲廉集团集结兵力在登封南歼灭日军之目的，命令刘昌义指挥赵桂森第二十师、彭赉良新四十二师，于29日黄昏前展开于颍桥、前陈之线，向马沟、七里店之线攻击前进；马励武指挥全瑛第九十一师，郭文灿第一九三师展开于楚河铺、大沟刘之线，保持重点于左翼向灵沟河、和尚桥之线攻击前进；陈又新部以一部固守鄢陵，主力向大地街、半截河前进。当各部已遵令开始行动时，汤又电话命令停止。从此，保卫许昌的各部遂据城婴守，陷入被各个击破，死伤严重的悲惨命运。
汤恩伯既撤回机动作战的命令，李仙洲集团只有在许昌地区被动挨打了。4月30日，日军本乡师团在炮火掩护下攻击颍桥，刘昌义率赵桂森师一个团据砦固守，激战一日，敌未得逞。次日晨，敌增援后在猛烈炮火的轰击下爬围墙，守军因伤亡过重，退至砦外。是时，赵桂森率该师主力由襄城赶来，李仙洲命赵率军在颍桥以南及东南地区阻止敌人南下，并命马励武派全瑛率两团人由楚河铺反攻颍桥。马军在赵桂森师的配合下，与日军在颍桥外围展开激烈战斗。2日晨，日军步、骑七八千人，炮二十余门，汽车二百余辆，坦克二十五辆，反复冲击，颍桥左近的村庄经不起日军装甲部队的冲击，赵师伤亡五六千人，转移到茨沟、大王庙休整，全瑛师未及展开，即被驱赶到黄岗店地区。彭赉良新四十二师于29日起亦在灵井、泉店一带，遭到二千余日军的攻击和十余架飞机的轰炸，因该师自中牟阻击战以来部队已伤亡过半，遂率残部千余人撤往襄城。
颍桥失守，守许昌的吕公良师的援军西来之路断绝，而路东之陈又新汜东军战斗力极弱，无法突破日军秋山旅团的阵地。至此，吕师只有困守孤城被歼的一途。29日黄昏前，内山将攻城部队作下列部署：长野师团任西门、南门攻击；炮兵联队在七里店，配合长野师团攻击西门；本乡师团进抵任店西南地区，截断许昌突围部队的退路；竹下师团进抵许昌城东北，防止城内守军由此突围；秋山旅团进抵许昌东南，参加攻城战斗；另以山路坦克师团的栗栖英之助第十三联队附以步兵中队，担任冲击许昌南门的任务。30日拂晓，内山指挥的攻城战斗开始，第十一炮兵联队的几十门野炮和长野师团、秋山旅团的步兵炮齐鸣，十余架飞机轮番轰炸。许昌城上工事尽毁，城内到处起火，城内守军陷入苦战。下午6时30分，栗栖坦克联队冲破南门攻入城内，几十辆坦克对城内进行了约一小时的全闭攻击，继之随行的步兵中队进行白刃战，将守城部队压缩到城西南角。同时长野师团各部也攻入城内，对城内守军进行扫荡。5月3日拂晓，吕公良率数百人从城东北角突围，行至城东北六公里处于庄附近，在日军工兵第二十七联队封锁线上被包围，吕和部下三百余人均战死疆场。
内山原设计的作战方案是，攻下郾城再向右旋转迂回闪击，及至许昌一仗打垮李仙洲南兵团的第二十、新二十九两个师，禹县附近的马励武军可由本乡师团解决，而且许昌一战吕公良阵亡，守城军队几乎全部被歼，已使我国军队受到了极大的震慑。为此，内山决定乘守军阵线混乱之际，除竹下师团执行打通平汉南段任务，即日向郾城攻击前进外，以长野、本乡两师团及秋山、藤田两旅团，以山路坦克第三师团为前导，于5月2日起，以主力沿许昌-襄城-临汝路线，以一部沿禹县-郏县-临汝路线，分别向临汝平原闪击前进；另以一支有力部队向伊河河谷推进，截断石觉第十三军退路。在密县-虎牢关一线的林芳太郎师团，同时由密县附近出发向登封攻击前进；另一部向登封北方山地迂回，夺取郭店，切断汤军向洛阳的退路。
由于李仙洲南兵团各部久战疲惫，且在战斗中其新二十九、四十二两师、第二十、二十二两师及暂二十七，五个师已损耗兵力三分之二，第二十九军、汜东挺进军等部亦多不完整，故内山指挥的西进部队势如破竹，继5月10日陷许昌、禹县之后，2日陷郏县，3日陷宝丰、临汝，4日陷临汝镇和白沙，短短五天之内山路坦克师团的福岛联队和藤田骑兵旅团驰骋五百里，如入无人之境。日军于5月5日挺进到洛阳以南的龙门，并封锁了附近的伊河渡口。只因日军装甲部队和步兵脱节，汤恩伯和其嫡系部队才得以丢弃装备逃往豫、陕边界。
汤恩伯为国民党嫡系部队中的暴发户。初赖北洋军浙军师长陈仪资助，留学日本士官学校。北伐战争期间，经陈荐举给蒋介石任少校参谋，后任中央陆军军官学校教官。因是浙江人的关系，受到蒋介石的信任，被任命为德顾问塞克特训练的教二师扩编的第四师师长。由于在江西卖命剿共，抗战前升任为指挥两个国防师的十三军军长。抗战爆发后，在南口和台儿庄成绩稍著，经国民党报刊吹捧，就成了风云一时的人物，由军长升为军团长，第三十一集团军总司令。1941年初调豫东任鲁苏豫皖边区总司令。旋又升任第一战区副长官，以国民党军日本士官系领袖自居，吞并张学良东北军和韩复榘西北军系部队，大肆扩编新编和暂编师，并滥肆委任和收编地主武装和绿林部队等，形成国民党军中三大军事集团之一，拥兵二十万，号称河南王。由于经营非法生意发国难财，纵容部下骚扰百姓，被河南人咒为"水旱蝗汤"--河南的四荒之一，不料这次日军只出动了几十辆轻型坦克，他竟吓得屁滚尿流，逃往豫陕边境。汤恩伯如此昏庸误国，引起国人极大的愤怒，参政会中的河南籍参政员纷纷起来弹劾，要求军法审判，只因受到蒋介石的庇护，仅以革职留任了结，不久又升任第三方面军总司令。第三次国内战争时期，又以反共打手的面目与人民对抗到底。
汤恩伯的军队既在日军追赶和河南人的截击之下丧失了战斗力，保卫豫西的任务就落在第一战区司令长官蒋鼎文指挥的四个集团军的肩上了。由于汤恩伯的嫡系部队在临汝、郏县间未能予日军以打击，日军装甲和骑兵部队仅用五天时间就挺进到了长官部的所在地洛阳南郊，这对于蒋鼎文和其幕僚来说确如晴天霹雳。日军沿平汉线南进后，蒋鼎文为支援汤恩伯与日军在禹县地区决战，朱绍良、胡宗南即以第八战区增援来的陈瑞珂第九军、谢辅三暂四军南下接替王仲廉集团军在登封和临汝一带的防务，同时部署守河防的武廷麟十五军于洛阳西北，刘戡十四军及谢辅三暂四军一个师及高树勋新八军新六师于洛阳南龙门、伊川迄嵩县间。不料暂四军的郭贻珩四十七师两个团甫到临汝立足未稳，日军装甲部队即于4日挺进到洛阳南水砦、彭婆地区。蒋鼎文闻报惊恐万状，于5日拂晓即率长官部人员退出洛阳，沿洛河向豫陕边撤走。蒋的意图系以武廷麟、刘戡两部依据洛阳坚固的国防工事坚守，牵制住敌人，集结孙蔚如、李家钰、马法五、高树勋等部，在北起渑池沿洛河右岸建立起一道防线，等候第八战区派遣的援军到达陕州再进行反攻。
当时蒋介石对这次战役的指导思想，是希望以洛阳坚城吸住日军主力，然后集中一、八两战区主力与日军在陕州地区决战。在日本方面，其首相东条英机则因英美盟军即将在诺曼底登陆，德、意崩溃在即，而日军联合舰队司令官古贺峰一战死，美军在新几内亚登陆，国内人心惶惶，攻下洛阳就可以为法西斯再鼓一把劲。日军华北方面军司令官冈村宁次基本上支持东条的意见。但日军十二军司令官内山则与东条相反，他的方针是：坚持对洛阳采取围而不攻的战术，集中十二军的主力乘蒋鼎文、汤恩伯两军阵容混乱之际，沿洛河河谷和嵩县通卢氏的山径小路穷追不舍，使其丧失作战能力之后，再进攻洛阳，然后再与八战区的援军在陕州、灵宝决战。东京日军大本营和北平方面军总部通过协商，同意了内山的意见。同时为支援内山作战，命第一军军长吉本贞一于5月9日夜，派三浦忠次郎的第六十九师团、小原一明独立混成第三旅团等在垣曲渡河，兵分三路向豫西挺进，与内山等十二军并肩追击退入洛河河谷的蒋鼎文军。另以防卫北平的野付昌德的第六十三师团并指挥柳勇的步兵第六十七旅团，及已在汜水的长岭喜一独立步兵第九旅团组成菊兵团，于5月8日突破孙蔚如第四集团军防线，11日到达洛阳外围监围城内守军，俟内山、吉本两军围歼洛河河谷我国守军的战斗结束后，再发动对洛阳城的攻坚战。
为此，冈村宁次于5月14日以甲方丁参电第96号命令，向东京参谋本部和南京派遣军总部及各军发出如下通报：
一、关于我国军队在豫西部署情况。（编者略）
二、方面军今日（13日）命第十二军以一部兵力监视洛阳，以主力向洛宁平地进行追击。此外，撤销第一军与第十二军作战境界，并命令菊兵团以一部兵力监视洛阳，以主力向新安西南方急追。