全面内战爆发后，蒋介石调动部队围攻中原解放区。中原军区根据中央军委的指示，于6月底开始分路向西和东北方向突围。进攻中原之敌军大部被牵制在豫西、鄂西、陕南地区。与此同时，敌军又集中大量兵力进攻苏皖解放区，并对豫东解放区不断进行“清剿”。为配合苏皖解放区军民挫败敌人的进攻，迫使敌人从中原解放区方面抽调兵力向东北增援，使中原解放军能在豫西、陕南、川东、鄂西等地立足生根和支援豫东解放区，晋冀鲁豫野战军决定在地方武装配合下发起陇海铁路汴徐段自卫反击战。
这次自卫反击战分为左、右路军，其中右路军的自卫，反击战场在豫东地区。参战部队是晋冀鲁豫野战军的三、六纵队和冀鲁豫军区五、六军分区武装。右路军主要反击对象是侵占豫东解放区的国民党整编五十五、六十八师及地方保安团队。
1946年8月10日晚，自卫反击战开始。六纵十七旅、十六旅攻击兰封车站和兰封县城；三纵（缺八旅）攻击民权等据点；三纵八旅攻击三义寨、罗王车站。经11、12两日战斗，先后攻克兰封城和三义寨、罗王、野鸡岗等车站，截获军车一列，缴获坦克8辆及大量军用物资，歼灭整编五十五师七十四旅大部，控制铁路百余里。在六纵、三纵对敌攻击的同时，六分区武装于11日攻抵开封南关机场，使开封全城震动。8月13日，六分区武装解放了开封南45里之朱仙镇。
8月13日，国民党军队整编六十八师一八一旅由马牧集西援，4个团由开封东援，郑州绥署的三、四十一、四十七军共7个师也向东驰援。在此情况下，右路军根据中央军委和毛泽东南下夺取豫东诸城，威胁新黄河，争取时间，占领豫东地区，各个歼灭敌人的指示，六纵于8月14日攻克杞县县城，歼灭国民党军整编五十五师八十一旅及国民党杞县保安团、河南省保安五团千余人。16日，六分区武装攻克通许县城，全歼守敌。19日，三纵、七纵（属左路军，以攻黄口、砀山为重点）主力，在宁陵北攻击一八一旅、二十九旅的八十七团，至20日，攻克宁陵西北门、邓寨、吕庄，歼灭一八一旅直属队1个工兵连、1个炮兵连、五四一团1个营，俘虏400余名，缴获迫击炮3门、轻重机枪15挺、电台1部、步枪百支。21日，三纵九旅和七纵一部在柳河地区歼敌1个团。此时，国民党军队的西路援军和东路援军都已接近解放区，右路军遵照中央军委集结主力于陇海路北休整以利再战的指示，于8月22日胜利结束此次自卫反击战。
陇海路破击战后，由于全面内战已经爆发，国民党军队全面进攻解放区。因而，对豫东解放区的进攻由重点变一般，豫东解放区暂时出现互为进攻的局面。8月28日，晋冀鲁豫野战军七纵二十一旅（陇海路破击战役结束时，为诱惑人，未回华北，留在了陇海路南）攻克太康，9月3日攻克淮阳。9月5日国民党军队七十五师复陷淮阳，交警十二总队复陷通许，9月9日，七十五师又复陷太康，14日交警十七总队、河南省保安第五团复陷杞县。19日，六分区主力三十团、杞通独立团又收复太康。
1946年10月，国民党军队又决定对豫东解放区发动第三次“围剿”。这次“围剿”以六十四师和交警十七总队为骨干，另有十几个省、县保安团，共约1．5万人。
第三次反“围剿”斗争从1946年11月11日开始。11月18日，豫东解放区武装破击了陇海路开封至兰封段，迫使已进入解放区中心区的国民党军队六十四师仓惶北撤。解放区武装主力则迅速南下，于11月底在田岗、郁岗一带两次重创敌军，打乱了国民党军队的第三次“围剿”计划。
国民党发动全面内战后，于1946年七八月间大举向苏皖解放区进攻，并抽调大量部队赴冀鲁豫战场作战，使冀鲁豫六分区、华中八分区沦为敌后。为了加强对豫皖苏地区的领导，坚持敌后游击战争，恢复和发展这块战略要地，中共中央于9月上旬调华中局宣传部长吴芝圃前往工作。
10月19日，中共中央决定将华中八分区与冀鲁豫六分区合为豫皖苏军区，吴芝圃任边区党委书记兼军区政委，张国华任司令员。
12月8日，豫皖苏军区武装和豫东解放区武装，将进攻豫东解放区中心区的国民党军队六十四师一九0团全部歼灭在刘寨，并击退了前来增援的河南省保安第二团，毙敌300余人，俘600余人，缴获机、步枪1000余支及大量军用物资。
新组建的豫皖苏边区党委和军区的任务是：在坚持斗争中求得发展，首先打通豫东、皖北，并逐渐向黄水以南开拓游击区，加强顽统治区秘密工作，组织民变，求得逐渐和在有利形势下，打通与豫皖和豫西的联系。
为完成此任务，主要以开展群众性的游击战争，打击反动派，控制广大乡村及小城镇；保护人民利益，并积极发动群众，扩大地方武装，培养地方干部，与人民建立血肉不可分的联系。同时，注重国军工作与其他统一战线工作，孤立敌人。在思想上，坚定干部的胜利信心，及时对今后困难有充分估计，作长期打算，并防止干部和部队脱离群众的不良倾向。在组织上，要短小精干，适合环境。在政策上，要以团结大多数，打击面小，得利面大为出发点，以各种口号和方针与群众兴利除弊。同时，不放松在可能条件下解决土地问题，或使群众获得可能得到的利益，并注意合法斗争、公开武装斗争的配合……
11月中旬，张国华奉调到任，与吴芝圃一起组织了军区机关和南下的部队。21日，张国华、吴芝圃率军区机关、豫东纵队、军区警卫营、五支队由山东省鄄城以南地区出发，经8天行程，于11月29日进入豫东地区睢县城西北蓼堤岭一带，并与驻民权南部尹店的六分区杞通独立团取得联系。
12月12日，张、吴率军机关和特务团、冀鲁豫六分区主力和五支队移驻平岗西北一带。下午，华中八分区主力到达平岗西南台寨附近宿营。至此，军区和冀鲁豫六分区、华中八分区主力已大会师。豫东纵队在刘寨战斗后，即去高贤，准备进入涡河以南开辟新区。
12月14日上午，在乎岗召开营以上干部大会，宣布中共豫皖边区委、行政委员会和豫皖苏军区正式成立。
区党委书记兼行委主任吴芝圃，行委副主任彭笑千，军区司令员张国华，政治委员吴芝圃，副司公员魏凤楼，参谋长陈明义，政治部主任王幼平。边区党委下辖一、二、三地委、专署、军分区。
1947年1月在原冀鲁豫第六地委、专署、军分区的基础上，宣布成立中共豫皖苏第一地委、专署、军分区，区域包括平汉路以东、陇海路以南、商柘公路以西、涡河以北地区。辖杞县、克威县（杞北）、睢宁县、睢县、扶太西、淮太西、通许、宁柘商、柘城等县。地委书记、军分区司令员、政治委员王其梅，地委副书记、军分区副政委郑华，军分区副司令员王广文，军分区参谋长杨志雅，政治部主任惠毅然，专员雷敏之。中共杞县县委书记，县长段佩明。
中共克威县委书记周致远，县长杨宏猷。中共通许县委书记张曙光，县长李良。
以冀鲁豫边区六地委、专署、军分区的南半部为基础建立了豫皖苏边区二地委、专署、军分区；以原华中八地委、专署、军分区为基础建立了豫皖苏边区三地委、专署、军分区。
豫皖苏军区成立时，全国解放战争已经进行半年，开始出现有利于解放军，不利于国民党军队的变化。但解放军仍在各个战场的内线贯彻集中优势兵力，各个歼灭敌人的方针，大量歼灭国民党军队的有生力量，争取打破其全面进攻。
在豫皖苏军区周围，华东野战军正在进行鲁南战役，晋冀鲁豫野战军正进行巨金鱼战役。国民党徐州、郑州两绥署的主力，正集中全力对华东野战军和晋冀鲁豫野战军作战，抽不出更多部队对付刚成立的豫皖苏边区部队。当时直接可以对豫皖苏边区作战的国民党部队，东有徐州绥署的整编五十八师鲁道源部，该部一八三旅驻宿县，新四旅位于永城，新十一旅驻守津浦路徐宿段。另有交警二总队位于保安山；西有郑州绥署的国民党整编十五师武庭麟部。