1942年7月胶东军区成立，许世友由山东纵队参谋长调为胶东军区司令员。是年冬至翌年冬，日军在冈村宁次指挥下，发动"拉网合围"式残酷"扫荡"，多路分进合击，密集平推，无村不搜，无山不梳，无林不篦，同时进行蚕食，推行"治安强化运动"。此时根据地较前缩小，物资供应困难，部队作战频繁，伤亡很大，但由于实行精兵简政，采用"翻边战术"，反蚕食、反封锁，变守为攻，主动出击，日军的"囚笼"政策被彻底粉碎。至1944年8月，胶东八路军声势复震，在许世友指挥下发动秋季攻势，连续攻克文登、荣成等县城和敌占据点一百三十余处，歼日伪军五千余人，收复国土二万余平方华里，解放人口一百四十余万。
在胶东抗日根据地处于日军频繁"扫荡"，军民极端困难的时期，赵保原公开打起伪"山东国民自卫军第二集团军"旗帜，协助日军对抗日根据地进行摧残，所到之处，庐舍为墟，抗日军民惨遭屠杀。日军"铁壁合围"式"扫荡"被粉碎后，胶东军区即制定消灭赵保原的作战计划。1945年2月11日，集中五个团、四个营和一个炮兵营的兵力，发起了讨赵战役。激战九日，首克万第再战左村，席卷赵伪盘踞的五龙河流域，歼灭赵保原部一万二千余人。赵率残部逃窜至日军控制的据点，1946年在胶县战斗中被击毙。由于日伪军均被击败，1945年春起，胶东八路军迅速壮大，基本上控制了胶东半岛。
此外，为了适应战略形势的需要，1944年1月，十八集团军总部命令将属于冀南军区的冀鲁边与山东军区的清河军分区合并为渤海军区，任命杨国夫为司令员，景晓村为政治委员。1944年7月至9月，杨、景指挥渤海部队，向该区以由沈鸿烈委任的五区专员刘景良为骨干的伪军发动强大攻势，消灭伪军一万二千余人，收复利津、乐陵、南皮、临邑等县城，国土四万五千平方华里，解放人口四百余万人。
经过1944年春至1945年春的反攻，山东八路军毙伤俘敌伪军九万四千五百七十二人，光复国土十四万平方华里，解放人口八百四十九万八千零七人。山东八路军自身也得到很大的发展，正规军人数达到二十一万三千人，民兵四十一万人，为最后胜利大反攻奠定了基础。
1945年8月9日，苏联出兵东北，日本投降。10日，延安中共中央军委会以十八集团军总司令朱德的名义向各解放区武装部队发布"收缴敌伪军的武装，如拒绝投降，即予坚决消灭"的命令。11日，山东军区向驻济南的日军第四十三军军长畑川中康发出限期投降的通牒。蒋介石却于11日至15日连续发出三道命令，一方面要八路军、新四军原地驻防待命；另一方面却授命日伪军就地"维持治安"，拒绝向八路军、新四军投降，在山东则实行日伪合作，"宁渝合流"。接着蒋介石任命伪军头目吴化文为济南"绥靖"区司令官，郝鹏举为国民革命军新编第六路军总司令，历文礼为"潍县地方先遣军司令"，大大小小的汉奸和伪军都摇身一变成了国民党的"先遣军"或"地下工作人员"。
对于蒋介石这种为了独吞胜利果实，不惜和汪精卫汉奸政权和残害人民的伪军合流的做法，山东军民无不义愤填膺，中共山东分局决定根据中共中央指示，迅速组织人民力量向山东各大中城市和铁路沿线发动进攻。从11日起，中共山东分局和军区迅速布置了整编部队，按管城市，动员参军，支援前线和维持后方治安等项工作。山东军区决定将经过八年抗战锻炼的二十七万正规部队整编为野战兵团八个师零十二个警备旅和一个海军支队，并委任王建安、陈士榘、许世友、杨国夫、张光中为五路反攻大军的指挥官，于8月15日起分别向日伪军据守的城市和铁路交通线发起进攻。但由于蒋介石和日军签订了"共同防御协定"，而当时八路军又缺乏攻坚的重武器，夺取大城市有很大团难。为此，中共中央军委于8月26日发布指示，指出今后一个时期除夺取平绥、德石等铁路线，切断平汉、胶济等铁路线外，同时要投入必要的力量，广占乡村和府城、县城和小城镇。山东军区迅速执行了这一指示，对据守临沂、诸城、无棣、商河、平度、峄县等县城的伪军发起了大规模的攻坚战役。至9月13日，先后光复莱芜、益都、莱阳等县城四十六座和烟台、威海等城市港口六处，敌伪大小据点五百余处，攻占火车站三十五处，歼灭敌伪军六万多人，切断了胶济、津浦、陇海铁路，将济南、青岛、徐州、连云港等城市置于大片解放区的包围之中。
1939年夏，罗荣桓率一个红军主力团入鲁，在二三万地方游击队配合下，经过五年的残酷战斗，发展到近三十万正规部队，基本上控制了山东百分之九十以上的国土。这就不仅为9月19日罗奉命北进收复东北失地提供六万能攻惯战的主力部队，而且为下一步陈毅率新四军入鲁坚持三年的自卫战争，夺取解放战争最后胜利打下了基础。
二山东八路军反攻敌我双方战斗序列
（一）八路军方面
山东军区司令员兼政治委员罗荣桓第一路（鲁中）前线指挥王建安政治委员罗舜初第三师师长曾国华政治委员周赤萍第四师师长廖容标政治委员王文轩警一旅旅长孙继先警二旅旅长吴瑞林警十一旅旅长谭士冕第二路（滨海）前线指挥陈士榘政治委员唐亮第一师师长梁兴初政治委员梁必业第二师师长罗华生政治委员刘兴元独一旅旅长王道。
独三旅旅长胡奇才东北挺进纵队司令万毅第三路（胶东）前线指挥许世友政治委员林浩第五师师长吴克华政治委员彭嘉庆第六师师长聂凤智政治委员李丙令警四旅旅长刘涌警五旅旅长贾若瑜独二旅旅长莫正名独三旅旅长张希贤第四路（渤海）前线指挥杨国夫政治委员景晓村第七师师长杨国夫政治委员周贯五警六旅旅长刘贤权警七旅旅长王淮湘第五路（鲁南）前线指挥张光中政治委员王麓水第八师师长王麓水警八旅旅长贺健警十旅旅长赵杰独四旅旅长韩臣。
（二）日伪军方面
1.日军
第四十三军军长畑川中康第五十九师团师团长（甲）畑川中康第五混成旅团旅团长内田银之助第六混成旅团旅团长奥村半二。
2.伪军
"和平救国第三方面军"总司令吴化文第六军军长张景月第七军军长于怀安第八军军长吴化文第九军军长第十军军长荣子恒山东国民自卫军第一集团军军长张步云山东国民自卫军第六师师长张天佐。
山东国民自卫军第二集团军军长赵保原华北绥靖第八集团军军长王铁相临沂道皇协军司令张里元鲁东"和平救国军"司令历文礼武定道皇协军司令张景良鲁南皇协军司令王洪九邹滕峄皇协军司令申从周。
晋冀鲁豫八路军的反攻
晋冀鲁豫八路军反攻全过程晋冀鲁豫抗日根据地位于中原的心脏，为中共陕甘宁根据地通往华中和山东的走廊，亦为国民党军返回华北的通道。故从根据地建立之日起，国共两党军队即不断爆发摩擦战争。对日本侵略军而言，这个战略地区为华北、华中两派遣军的接合部，为扼制八路军、新四军的发展，亦必须加紧控制。故1940年百团大战后，日华北派遣军进行残酷的"扫荡"。经过日军五次治安强化运动，抗日根据地受到极大摧残，部队人数大大减少。为应付敌人的"扫荡"，坚持根据地斗争，刘、邓曾将主力部队划归分区，但仍保持团的建制，随时受军区调遣，进行较大的战役。因此，晋冀鲁豫八路军保持了较强的战斗力。1943年夏，日军大本营由华北调遣部分兵力增援太平洋诸岛日军后，晋冀鲁豫八路军即开展攻势，很快恢复到百团大战前的局面。1944年春，日军大本营为打通大陆交通线，再度由华北抽调兵力。刘伯承、邓小平指挥的八路军遂对日军展开了局部反攻，除派有力部队南下开辟豫北、豫西、豫东三块新区外，同时对根据地内的敌伪亦发起了强大攻势。
1944年3月，李达、黄镇指挥的太行部队夺回榆社，4月夺回林县，5月攻入左权、陛川，7月攻入阳城，8月攻入和顺，11月攻入元氏。从6月到9月，在豫北连续发动三次攻势，攻拔据点三十六处，收复国土九千余平方华里，解放同胞十余万人。谢富治、王新亭指挥的太岳部队除扼制阎锡山顽军进驻浮山、翼城地区外，于2月攻入太谷，4月夺回沁水，7月攻入阳城，配合太行部队控制垣曲、济源地区。
杨得志、杨勇指挥的冀鲁豫部队，战绩尤其卓著。1942年4月，日军对冀鲁豫发动大"扫荡"，第三十九集团军副总司令兼鲁西行辕主任孙良诚率冀鲁游杂武装二万五千人在曹县投敌。孙原为冯玉祥西北军悍将，所部吉鸿昌、梁冠英、张自忠为西北军主力。五原誓师，孙为国民军联军前敌总指挥，击败刘镇华解西安之围，出潼关破奉军，沿陇海路东进，击败张宗昌、孙传芳安国军于鲁西，任山东省政府主席。1930年中原大战时阎、冯失败，孙失去军权。抗战军兴，孙随鹿仲麟来河北，任冀察战区游击总指挥，以其旧部军官组织起二三万人的游杂武装。因其怨恨蒋介石排斥异己，在高树勋率军南撤后，孙经其老长官汪伪参谋总长刘郁芬勾引，丧失民族气节投敌，任伪开封绥靖公署主任兼伪第二方面军总司令。孙部因系旧西北军军官组成，故和吴化文第三方面军成为当时华北战斗力最强的两支汉奸武装。
1942年9月，冈村宁次拼凑两个师团的兵力对冀鲁豫濮、范、观地区进行"九·二七"大"扫荡"，同时掩护孙良诚率其伪第二方面军主力进驻两濮（濮县、濮阳）地区，在郓城、寿张、朝城伪军配合下，向八路军根据地蚕食，使冀鲁豫中心区只剩下不足百余里的范县、观城一隅。虽然冀鲁豫军区多次对孙部伪军进行讨伐，均以伤亡惨重告终。1942年夏，刘少奇路过冀鲁豫，建议中共中央调黄敬任区党委书记。黄认为对孙良诚只可斗智，不能斗力。黄自兼对敌斗争委员会书记，选与西北军有关系的毛定原、冀炳南两参议，成立军区第二办事处，将侦察参谋打入孙良诚总部的八大处。杨得志、杨勇掌握孙部情况后，遂于1943年11月发动濮阳八公桥战役，以曾思玉、段君毅的二分区部队为主攻部队，三、四、五分区部队配合作战。孙良诚伪总部驻濮阳城东南，曾思玉和参谋长潘焱决定采用唐朝"李愬雪夜下蔡州"战术，以军区主力七、八两团为主攻部队，于11月16日黄昏，利用天昏地暗天气，以急行军穿过敌军的封锁线，当夜10时接近伪总部所在地八公桥，俘虏更夫，混入田寨。适孙良诚在前一天去开封开会，当即俘虏其总参谋长甄纪印和八大处处长，至天亮结束战斗，毙敌数百人，俘敌官兵三千二百余名，缴步枪一千九百余支，战马三百余匹。经此一仗，孙部主动放弃两濮地区，撤往开封，后又调苏北，使濮（阳）濮（县）范（县）观（城）冀鲁豫中心区与三、四、五军分区连成一片。
冀鲁豫另一辉煌战例，为1944年5月清丰歼灭伪"冀南剿共保安联合军"，俘虏伪道尹战役。冀南地区向为驻邯郸的日军独立混成第一旅团的警备区。太平洋战争日军失利，将华北日军大批调走，日华北派遣军为节约兵力，决定撤回"治安良好地区"的日本军队，改由伪政权军队驻守。5月上旬日军撤回邯郸后，伪清丰县长张裕元于10月弃城逃往大名。八路军清丰县大队当即入城，发动群众拆城，以防敌人卷土重来。邯郸日军联络部长加藤次郎大佐为贯彻执行以伪军代替日军负责防守距铁路线较远城市的方针，选择冀南十三县伪保安队（主力是清丰、大名、南乐县）四千八百人编成"冀南剿共保安联合军"，于5月23日攻占清丰城。加藤次郎等为庆祝胜利，决定通知各县伪县长和联络官来清丰开会，推广以保安队代替日军担任警备的经验。28日，邯郸日军联络部代理部长名取正雄陪同伪冀南道尹薛兴甫，在三百名伪军教导队的护卫下，坐汽车进入清丰，搭台唱戏，表示庆祝。八路军八分区司令员曾思玉、政治委员段君毅，决定乘敌人得意忘形之际，采取长途奔袭战术，突然袭击。28日，命令七团团长温先星、政治委员杨俊生率部由范县出发，日行一百四十华里，当晚10时突入清丰城内，经一夜巷战，尽歼城内伪军，当场击毙伪冀南道日籍联络官本川、邯郸日军联络部代部长名取及伪"冀南道剿共第一军"指挥官李铁山以下日伪军二百余人，活捉伪道尹薛兴甫、伪县长五名、警察所长等伪官吏四十余人，生俘各县日籍联络官及日籍人员三十余人，俘虏伪军士兵一千二百余人，缴获轻机枪二十一挺、步枪一千五百余支，沉重地打击了敌伪。
清丰歼灭敌伪的巨大胜利，使冀鲁豫地区伪军陷入恐慌。宋任穷、杨勇等遂乘胜出击，7月攻下日伪华北模范县莘县。8月，从汶上到郓城二百余里的战场上，对拥有五千余伪军的郓城大汉奸刘本功发动攻势，拔掉据点三十七个，解放村庄六百余个，使濮、范、观中心区东与昆（山）张（寿张）南与巨（野）菏（泽）根据地连成一片。9月，夺回濮阳、寿张，11月再次攻克莘县。总计1944年冀鲁豫区夺回县城七座，收复国土二千余平方华里，解放人口五百余万。
1945年，冀鲁豫地区更是一个胜利接着一个胜利。4月15日，杨勇、曹里怀等指挥曾思玉、张国华两部对盘踞濮阳以西滑县东沙区的孙殿英伪军孙步月部发起攻击，解放村镇二百余处，打开了冀鲁豫连接太行山的通道。24日，以三、七、八、九分区主力发起对盘踞南乐地区的伪东亚同盟自治军杨法贤部攻击，经两昼夜激战，解放南乐全境，毙伤日军三十余人，俘伪旅长杨法贤以下官兵三千余人，缴重机枪四挺、轻机枪五十余挺、步枪一千七百余支。5月，冀鲁豫各军纷纷发动攻势，连续攻下南宫、新河、任县、大名、阜城、堂邑、东平等县城。6、7月，宋任穷、杨勇指挥冀鲁豫一、七、八分区主力攻取阳谷城战役，为日军投降前夕最后一仗。阳谷城内驻有齐燮元伪治安军第四集团军第九团及寿张、莘县、朝城逃来的伪警备队共约三千余人。21日开始攻城，经六天激战全歼守敌，伪团长张育焕兵败自杀，毙朝城警备大队长以下官兵近千人，俘阳谷警备大队长以下二千余人，缴轻机枪五十余挺、步枪一千六百余支。至此，一、七、八分区彻底连成了一片。
总计自1944年局部反攻以来，晋冀鲁豫地区收复县城三十九座，拔除敌伪据点二千九百余处，全歼敌伪军十一万四千余人，扩大解放区面积六万平方公里，解放人口七百余万，使百团大战后处于分割状态的根据地连成了一片，逼迫日军退据铁路沿线和极少数顽固据点。同时在战斗中缴获了大量轻重武器，改善了装备，并提高了部队运动战、攻坚战的战术水平，为大反攻准备了有利条件。