国民党惧怕3人小组发现他们进攻解放区的真象，一方面设法阻止留难3人小组前往，一方面发布训令准备欺骗3人小组。5月14日，国民党第七专区专员兼保安司令田镇洲签发的训令中称：如果视察组到后，即报告泛区根本无共军，仅有少数土匪。该训令还假造民意称：
以上意旨应普遍传告县、镇、保甲长、团队官兵及附近民众，小组如有询问，应异口同声答应。如有妄谈或承认该区有共军者应严惩不贷……迅予发动中等以上学校学生编组宣传队广为宣传。
国民党当局在制造假象的同时，无理阻止3人小组到豫东解放区进行视察和调处。3人小组于5月11日至18日在国民党当局的百般阻止留难下，往返于郑州、开封间，什么问题也没有解决，于19日被迫返回新乡。
国民党军队对豫东解放区的第二次“围剿”是国民党郑州绥靖公署主任刘峙亲自策划部署的。“围剿”从1946年5月11日开始。参加“围剿”的部队有：国民党军队整编五十五师一八一旅、整编六十八师八十一旅、国民党国防部保安第三纵队、河南第一、二、五、七、十二专区保安团、河南省保安第一、五、六团和杞县、睢县、太康、民权、陈留、扶沟等25个县保安团、队，共约5万余人。其主要指挥机构是国民党郑州绥署第四绥靖区。国民党军队对豫东解放区的“围剿”开始分为5路，其部署是：一路为河南省保安第五团、杞县、民权县保安团和一八一旅之一部，由一八一旅旅长米文和指挥，分别从陈留、杞县县城向解放区的克威县进攻；一路为睢县保安团、张岚峰部两个团和八十一旅一部，由八十一旅旅长葛开祥指挥，从太康、睢县等地向睢县东南长岗、太康北龙曲一带进攻；
一路为第十二专区保安团、通许县保安大队、河南省保安第一、六团和八十一旅一部，由第十二专区专员胡长怡指挥，从通许、陈留等地向通许东南的欧阳岗、小青岗进攻；
一路为国民党第五、七专区保安团、西华、淮阳县保安团由第七专区专员田镇洲指挥，从淮阳、太康向太康西南的大辛寨、五里口一带进攻；一路为民党第二专区两个保安团，由第二专区专员米纪章指挥，向睢县柘城县边界的黄岗一带进攻。
这次“围剿”，国民党军队采取“分进合击、逐步压缩、包围聚歼”的战术，比第一次“围剿”更加残酷。到6月10日，仅一个月的时间，先后侵占豫东解放区重要村镇32处，修筑碉堡31个，使豫东解放区缩小到了仅有杞南、杞通、杞北地区。
在国民党重兵压境之际，冀鲁豫第六军分区党政军民一起投入了反对国民党军队“围剿”的斗争。从获得情报之日起，军分区司令员金绍山、副司令员孙子植和政委李中一立即分别在司令部、政治部召开紧急会议，研究反“围剿”对策，并及时将敌情报告冀鲁豫军区，随即又与地委、专署联合召开军事会议，提出当前的中心任务是争取第二次反“围剿”斗争的胜利。要求在全区自下而上地进行政治动员，精减机关，充实连队。机关干部一部分下部队帮助工作，一部分组成服务团，直接为战勤服务。县区武装紧紧依靠群众，坚持本地区斗争，打击小股分散之敌，保护群众利益。军分区主力为防止被敌人各个击破，采取集中兵力与敌人周旋，避强击弱，在运动中相机破敌的方针。
冀鲁豫区党委和军区接到报告后，对豫东解放区反“围剿”斗争非常重视并及时发出指示。指示指出：敌人第二次对豫东解放区的“围剿”，可能是一次最紧张、最激烈、最艰苦的战斗最频繁、情况最复杂、代价相当大的“围剿”和反“围剿”斗争。敌人在即将掀起全国内战之际……必将首先与你们决斗。你们务必不要粗心大意，而要认真对待，争取以敌败我胜而告终这场斗争。指示中要求各县“应成立指挥部，地方干部一律掌握武装，就地坚持斗争，保卫麦收，瓦解敌人”；要作“连续战斗的思想准备，经常保持饱满的战斗情绪”，一定要战胜敌人，坚守豫东解放区阵地。指示最后还告慰豫东解放区军民：“区党委、军区完全相信你们可以战胜敌人，并将给你们以各种支援”；“只要集中兵力机动灵活，首先打破一路至两路，形势就会发生变化。”
冀鲁豫六地委、专署、军分区联席会议后，豫东解放区芝圃县、克威县、达生县、睢县、庆华县等县委、县政府、县大队都立即进行反“围剿”动员，传达区党委、军区和地委、分区的指示，揭露国民党军队向解放区进攻的阴谋和作战计划，号召全体军民为保卫和平、保卫人民、保卫家乡奋起自卫反击。军民经过动员和宣传，进一步增强了战胜国民党军队的信心。指战员们摩拳擦掌，以高昂的斗志准备打击各路进犯的敌人。
晋冀鲁豫野战军在刘伯承、邓小平指挥下向大别山挺进
尽管有区党委和军区的正确指示，全区党政军民作好了反“围剿”的准备，但是，豫东解放区武装仅有三十团、分区独立团、杞通独立团和各县大队，兵力总计不足4000人，与国民党军队的军事力量悬殊较大，形势异常严峻。
5月10日冀鲁豫六分区主力部队大部兵力向南向东，指向战斗力较弱的南路国民党军队和收编的汉奸张岚峰部。张岚峰是河南柘城人，早年留学日本，原属西北军，后追随蒋介石。日本侵犯中原后，他又依附于汪精卫，当了“和平救国军”第四方面军总司令。日本投降后，又摇身一变成为国民党政府国防部保安第三纵队司令。
此时张岚峰仍拥有10个团之众，有一定的战斗力。这次“围剿”，张部几乎倾巢而出，进驻豫东解放区。他们比国民党正规军熟悉当地情况，实为共产党、解放军在豫东地区的心腹之患。
5月中旬，国民党军队按计划从四面八方纷纷出动，豫东解放区战火四起。因为解放区军民在思想上，军事上都有所准备，虽在敌众我寡的情况下仍能主动迎战，抓住战机歼灭敌人。冀鲁豫六分区主力和军区三十团开始与国民党政府国防部保安第三纵队接触，就形成了豫东解放区反“围剿”斗争的主战场。5月12日、13日两日三十团连续夜间设伏，均未歼敌。14日又和军分区特务营、睢县大队设伏于睢县至太康转楼之间，消灭国民党保安三纵队一部，缴获轻机枪1挺。同时获悉国民党保安第三纵队丁团、孔团分别侵占解放区之王集和龙曲两地，冀鲁豫军区三十团乘王集之敌立足未稳，激战两小时，歼敌一部，待驻龙曲孔团增援时，三十团随即撤出战斗，转移至张三寨。
5月17日，中共冀鲁豫六地委和军分区在太康县高贤集召开联席会议，决定先打击西南方面之敌。18日午后1点多钟，国民党河南省保安一团千余人，由竹林向高贤发起进攻，三十团二、三营当即奉命还击，激战半日，入夜敌人逃窜。
10天来的连续作战，始终未能打痛国民党的军队，所以，国民党军队认为人多势众，中共军队很难抗御，豫东解放区可以唾手而得。5月20日1时张岚峰部先头一个团气势汹汹而来，向三十团驻地张三寨发起猛攻。三十团迎头痛击，打死20多人，打伤30多人，生俘10多人，缴获轻机枪3挺、手枪4支、步枪50多支，大灭了国民党军队的威风。战斗结束后，三十团政治处主任申健生写了一封信，交给一个带伤的俘虏，告诉他回去把信交给他们团长。信中指出，国民党发动内战就是自掘坟墓，以后不要轻举妄动。
第二天（5月21日）凌晨，冀鲁豫军区三十团及淮太西支队、太康县大队又对侵占解放区太康县西北郡清集一带的国民党郾城县保安团和淮阳专区保安团实施奔袭，一举歼灭郾城县保安团，毙、伤参谋长以下数十人，生俘其团长高振兴以下100多人，缴获迫击炮2门、重机枪1挺、轻机枪8挺、步枪数百支。并解救出被迫给团长、参谋长陪宿的4名小姑娘。另外，这一战还歼灭国民党淮阳专区保安团一部，向西南方面打开了一个缺口。此战，生俘人员多为被迫当兵的贫苦人家子弟，经教育后绝大多数参加了共产党领导的解放军。这是豫东解放区第二次反“围剿”以来首次较多的以俘虏兵作补充兵源。
这次战斗连同张三寨一仗，搞垮了国民党军队对豫东解放区“围剿”的南路部队，从而打乱了敌人“围剿”的部署。对参与“围剿”的各专区和县保安团也是很大的威慑，本想到解放区趁火打劫的，也不敢乱动了，豫东解放区出现了暂时难得的平静。
5月23日，冀鲁豫六分区在青集召开军民祝捷大会，表扬反“围剿”以来涌现出的127名战斗模范，总结了战斗经验，军分区司令员金绍山、参谋长孙子植等领导人在表彰大会上讲了话。金司令员说：“我们这次胜仗缴获了敌人的大炮、重机枪、轻机枪，生擒了敌保安团长等数百人，打垮了南路进剿军，我们应该高兴，大张旗鼓庆祝。并说：“国民党反动派天天骂我们共产党共产共妻，八路军是土匪，他们是来剿匪的，我们共产党领导的八路军、新四军是保护人民利益的子弟兵，国民党军队到处抢老百姓的东西，才真是土匪呢。“他说着拿出了从国民党郾城县保安团长那里收缴的那双绣花鞋，指着鞋说：
“看国民党的保安团长、参谋长干些什么？向老百姓派黄花大姑娘，派不来就抢，这双绣花鞋就是他们烧杀、抢掠、无恶不作的铁证，我们不消灭国民党遭殃军，老百姓就没有好日子过。”
孙参谋长接着说：“这就是国民党反动派的真面目，这就是国民党军队每到一处烧、杀、抢掠，无恶不作的铁证……”参谋长未讲完，会场上的群众就群情激昂，口号阵阵，纷纷要求枪毙国民党郾城县保安团长高振兴。
肥头大耳的高振兴听到群众的呼喊声吓得魂不附体，跪在地下连连磕头求饶。经过耐心细致地宣传党的俘虏政策，才使高免于一死。
冀鲁豫军区首长闻讯青集等战斗胜利，特向豫东部队指战员发来慰问信。信中说：你们在自卫战争中取得了很多胜利，痛击了敌人，特别是竹林、青集的战斗，更给反动派和好战者以血的教训，给水东人民坚持水东以极大的信心，也给全边区军民以无限的鼓舞。同时，军区特派保卫部长李凯夫组成“水东慰问团”，带着一批医务人员及纸烟、医药等物品到水东慰问部队和伤病员，给豫东党政军民以极大的鼓舞。
两仗胜利，争取了难得的两天平静。24日冀鲁豫军区三十团转移至张子影宿营，军分区机关和警卫营准备移驻青集。此时，国民党保安第三纵队宋仁杰团已进占青集，分区指挥员当即决定趁敌立足未稳，立即向敌人发起进攻。军区三十团二营和淮太西支队，从青集南发起进攻，机炮连向青集进行火力袭击，掩护二营和警卫营进攻。猛烈的火力打得敌人乱作一团，两个营同时攻入寨内，打得敌人落花流水，溃不成军。这一仗，歼灭国民党保安第三纵队两个连。天亮前，保安三纵队孔团、许团来援时，军分区警卫营和三十团二营已撤出战斗转移。不幸的是，这一仗淮太西支队副政委薛培度牺牲。
此次反“围剿”尽管取得了一定的胜利，但由于敌我力量悬殊，战斗频繁，为摆脱敌人“围剿”，5月26日开始了牵牛战术。冀鲁豫六分区机关、警卫营、军区三十团等由杞太边转至淮阳袁楼，拟相机克西华县夏亭镇。经侦察，该镇易守难攻。27日，又转移至淮阳、太康交界处李彩集一带设伏，行动被敌人侦知。上午12时左右，国民党国防部保安三纵之孔团、宋团追踪而至，从东北、正北、西北三面向军区三十团五连发起猛攻，情况极为紧张。四、六两连驰援，遭敌阻击。又调七、八连解围。与敌人进行逐个有利地势争夺，敌不支后撤，形成双方相持状态。黄昏时，军分区警卫营、三十团组织反击，歼敌人一部，缴掷弹筒1个、步枪10余支。因弹药不济，难于全歼该敌，适时撤出战斗。
李彩集战斗之后，冀鲁豫六分区机关、警卫营三十团转移到太康县东南部棠棣、杜楼一带，沿途又歼灭国民党地方武装一个区队。5月28日进至太康县温良口。行军途中部队很疲劳，随时可见躺在地上休息的战士，队伍一停，马上就躺倒一片。第二次反“围剿”以来，难得吃顿热呼饭，更难得睡个囫囵觉。偶然休息一天，指战员们就风趣地说：“今天是共产主义了”，视为幸福之日。
5月下旬，国民党国防部保安第三纵队张岚峰部进驻太康县北部重镇龙曲，派人约冀鲁豫六分区领导人去其司令部谈判。冀鲁豫六分区派政治部宣传科长李克基前去谈判。谈判中，张岚峰的无理要求遭到李克基的严厉驳斥和拒绝。最后，他气急败坏地说：“我说不过你，你回去吧，明天拂晓，中央军让我配合，向你们驻地进攻，请你马上回去报告吧！”第二天拂晓，张岚峰部和中央军果然向冀鲁豫六分区驻地继续进犯，不过分区机关早巳转移。谈判不成，国民党军队就向解放区发动新的更大规模的“围剿”。当时，冀鲁豫军区六分区与军区仍有敌人占据的陇海铁路相隔，孤悬于敌后，主力部队的后勤供应，特别是弹药供应受到限制，进行大的战斗反击已经很困难。部队战斗减员与非战斗减员不断增加，而国民党军队的“围剿”行动，则日紧一日。
冀鲁豫六分区主力和三十团从淮太交界的李彩集，沿黄河大堤北上至棠棣、杜楼一带，渡黄河折向太康东北杨庙，再东北转移到睢太边，将追随的张岚峰部主力甩在太康南部。在睢县白楼稍停，回到了中心区西南田镇一带。10天之内在太康县兜了360度的大圈子。可是部队刚到圉镇驻下，国民党国防部保安第三纵队两个团又分别占领了圉镇东之白木岗和南边的郭屯，同时向圉镇发起了进攻，六分区主力和三十团被迫反击。他们冲出海壕，与国民党军队展开了肉搏战。由于国民党军队队形分散，惧怕近战，怕死者居多，被突然来到跟前端着刺刀的解放军战士吓破了胆，纷纷掉头往回跑，死伤20多人，缴枪10多支。
冀鲁豫六分区主力和三十团为摆脱国民党军队主力，乘夜色转移，宿营在睢县厚台岗一带，开始在杞睢民边境地区与国民党军队兜圈子，牵着敌人的鼻子走。分区和三十团利用在根据地人熟地熟、战士勇敢、士气高昂的优势，采取近战、夜战伺机歼灭敌人。当国民党军队集中两个旅5个团的兵力向厚台岗开进时，六分区主力和三十团已转移到了西陵寺。国民党军队侦知三十团和分区主力已到西陵寺，马上轻装转向西陵寺。国民党军队在豫东地区参加“围剿”的部队从作战中总结出与共产党军队“三不打”，即：一不打夜战，二不打近战，三不打白刃战。所以，他们包围西陵寺后，离寨墙七八百米就趴在地上，只放枪不前进，不攻寨，盲目向寨内打炮，到天黑时退回原驻地。他们企图以充足的弹药来打垮、炸垮共产党在豫东地区的主力部队。这样在客观上也为兵力悬殊、弹药不足的冀鲁豫六分区主力部队和三十团坚持保卫解放区的斗争创造了条件。