1938年10月上旬，彭雪枫率游击支队由竹沟到达西华县杜岗会师，和吴芝圃、肖望东所部，并整编为3个大队，共1020人，仍用新四军游击支队番号，彭雪枫任司令员兼政治委员，吴芝圃任副司令员，张震任参谋长，萧望东任政治部主任。
从1938年10月到1940年6月的一年多时间里，在张爱萍、吴芝圃、张震的协助下，彭雪枫遵照中央发展华中的战略方针，和地方党组织紧密团结合作，创建了津浦路西的豫皖苏区根据地和津浦路东的皖东北根据地，为日后组建新四军第四师和开辟淮北抗日根据地，打下了坚实的基础。其部队发展速度之快，开辟地区面积之大，都堪称华中敌后的榜样。
1938年10月24日，彭雪枫率游击支队东渡新黄河，挺进敌后。针对日、伪、顽、匪混为一体的复杂情况，彭雪枫采用军事打击和政治瓦解“双管齐下”的方针，集中力量打击汉奸武装，摧毁伪政权，分化瓦解土匪队伍，收编一股有抗日倾向的部队，安定社会秩序，同时壮大我军力量。彭雪枫还充分发挥自己善于开展统战工作的特长，派出一些干部去争取地方实力派和会道门武装，“首先使他们不被敌人诱惑，其次使他们走向抗战道路”。这样，仅有千余人的游击支队，就可以免于四面受敌，能够放手打击日军，主力对付日寇。
在这期间，彭雪枫始终把建立根据地的任务摆在首位。他确定了“由小块到大块发展、由一块到多块建立根据地”的方针，分批次地扩展。1938年10月，彭雪枫率游击支队取得窦楼首捷后，决定以鹿邑县作为立足之地，一边整训部队，提高军政素质；一边派张爱萍直接领导该县县长魏风楼(中共特别党员)为新四军筹集军需物资，以增强游击支队的作战实力。
在游击支队初步打开豫东的抗战局面以后，彭雪枫立即在豫皖苏边界的永城以南的书案店一带，建立了一小块根据地。然后，逐步扩大，把几个乡几个区连成一片，建立县的抗日民主政权，再把几个县连成一片，建立大块根据地。到1940年6月，以永城为中心的豫皖苏抗日民主根据地已初具规模，在中心地区建立了5个县民主政权，成立了豫皖苏边区联防委员会，行使豫皖苏边区政府的职权。同时，各个县还成立了办事处，并在砀(山)南、睢杞太地区建立了政权机构，在14个县开辟了游击区。
1940年初，六支队被抽调大批干部充实永、夏、萧、宿、亳五县政权机构，以加强根据地中心区建设，进一步发动群众，实行减租减息，发展生产，巩固和扩大工、农、青、妇、儿童团、老人指导团等群众组织，建立地方武装，并争取了不少地方实力派对我们同情和支援，初步巩固了豫皖苏抗日根据地。
1940年6月20日，黄克诚奉命率八路军三四四旅和新二旅共5个团南下，到达涡阳以北的新兴集，会合彭雪枫此部新四军第六支队。两部合编为八路军第四纵队，彭雪枫任司令员，黄克诚任政治委员。7月，中原局报请中共中央和毛泽东批准，将八路军新二旅和六八七团，以及活动于皖东北地区的八路军、新四军，包括六支队四总队在内，编为八路军第五纵队，由黄克诚任司令员兼政治委员，执行“向东发展”的任务；以八路军第四纵队，由彭雪枫任司令员兼政治委员，执行“向西防御”的任务。
1940年8月，国民党桂系军骑八师等4个师，进逼风台、怀远的淮上抗日根据地，形成三面包围的态势，东北军骑二军何柱国也蠢蠢欲动，企图制造反共磨擦。彭雪枫一边领导部队做好自卫还击准备，一边利用国民党杂牌军与嫡系部队之间的矛盾，采取区别对待的策略，开展统战工作，暂时缓和了局势。11月中旬，蚌埠、宿县等地的日伪军5000余人及坦克车队进犯蒙城、涡阳，对我军进行“扫荡”。彭雪枫指挥所属各部，在蒙城以北的板桥与敌激战三昼夜，毙伤日伪军千余人，击毁汽车、坦克10余辆，击落飞机1架，击溃敌军，巩固了豫皖苏根据地，为执行“向西防御”任务创造了良好条件。
皖南事变发生后，1941年1月6日，蒋介石调30万顽军向华中我军进攻，妄图占领苏北和鲁南，将华中的新四军和八路军赶到黄河以北。这一次，顽固派进攻矛头主要指向我豫皖苏根据地，投入的兵力，除原在豫东、皖北的第十二军、骑兵第二军、骑兵第八师等非嫡系部队外，又从豫西调来了国民党嫡系汤恩伯第三十一集团军，充当骨干。总兵力达9个师，为我军的七倍，气势汹汹，妄图围歼我八路军第四纵队，占领豫皖苏边区。
1941年1月20日，中央军委发布了重组新四军军部的命令，统一改编华中部队为新四军7个师。八路军第四纵队奉命改编为新四军第四师，彭雪枫任师长兼政委。当时我四师虽处于敌伪顽优势兵力的夹击之中，部队回旋余地变小，但由于豫皖苏边区建立有较巩固的革命根据地，人民军队战斗力坚强。加上皖南事变后我党我军在政治上处于主动，且日伪顽之间及顽军内部矛盾重重，我军只要执行正确的战略方针，坚持豫皖苏根据地，击退顽固派进攻，是完全有可能的。
然而，在这关键时刻，彭雪枫急于为皖南事变死难将士报仇雪恨，狠狠打击国民党顽固派，以至犯了急躁冒进错误，使汤恩伯的阴谋得逞，四师遭到了挫折。豫皖苏边区和四师部队面敌背顽，如我军向西发展，靠近国民党一、五两战区主力部队，易引起中间派疑惧，政治上不利，军事上亦难操胜算；假若我军向东发展，地区辽阔，全属敌后，有理、有利。因此党中央、华中局一再命令豫皖苏部队向东发展。彭雪枫虽执行了向东发展的指示，但他认为发展平原游击战争应有山区为依托，仍有西进伏牛山、南下大别山的打算。
1941年1月下旬，日军乘汤恩伯集团向我进攻之机，企图混水摸鱼，突然进攻豫南。汤恩伯集团一触即溃，急忙撤离了一战区。战场上的局势瞬息万变，出现了我军西进敌后的好机会。华中局和新四军军部指示四师部队相机向西发展，控制一些军事要地，以利将来制止顽固派的反共磨擦。同时指示，目前的主要敌人仍是日军，不必追歼国民党军。
但彭雪枫却认为皖南事变后，我政治资本充分，应该狠狠给国民党顽固派一个教训，我们应不再忍让，抓住这个有利时机，歼灭这些反共的顽固势力。他考虑未成熟充分，即率四师部队分路西进，全体指战员急于报仇，部队进军速度很快。仅一星期左右，即深入新黄河以西之顽区，主力与顽军直接对峙，政治、军事都陷入被动态势。此时，日军为继续在政治上诱降国民党，乃中止对顽军的进攻，迅速经阜阳、蒙城、涡阳等地撤退。日军一退，隐蔽集结于新黄河西的国民党顽固军，便向我四师部队发起突袭。
由于我军孤军深入，仓促间又没有能够集中兵力，遭致顽军分割打击，至3月初，被迫放弃涡河以南地区。4月，顽军主力东渡涡河继续追击，日伪又配合顽军行动，扫荡淮上地区，反动地方武装也在我军后方组织暴乱。彭雪枫指挥我四师部队英勇抗击来自多方的进攻，艰苦作战，终因寡不敌众，我军共损失4000余人，主力无法在津浦路西立足。因此，华中局和新四军军部于1941年4月25日指示四师，将主力转入路东以巩固皖东北根据地。
5月4日，彭雪枫率四师主力忍痛向津浦路东转移。将士们依依不舍地告别了豫皖苏根据地，彭雪枫更是有着深深的自责与痛楚。他第一个踏上津浦铁路，又最后一个告别豫皖苏边的父老，他是多么地不情愿离去。至此，我豫皖苏边区除河南的睢(县)杞(县)太(康)和安徽的肖县部分地区尚有红军坚持游击战争外，其余全部丧失。
彭雪枫对错误和挫折感到异常痛苦，他经常辗转反侧，夜不能寐，认真总结经验教训。他认识到自己军事理论修养不够，没有很好领会和贯彻中央和华中局的指示；对耿、吴、刘等地方实力派缺乏警惕；在豫皖苏边区各项工作取得成就时，自己滋长了骄傲自满情绪。他下定决心，一定要克服自己的缺点，重整旗鼓，收复豫皖苏根据地。
彭雪枫协助陈毅指挥陈道口战役，又与其他部队横扫运河两岸顽敌，将淮北、淮海和淮南抗日根据地连成一片。1944年6月19日在对俘虏讲话时，为敌所伤，牺牲。
1941年7月，为接应汤恩伯集团东进，国民党顽固派令江苏省主席韩德勒，派王光夏两个团侵占淮海区抗日根据地的泗阳县陈道口。为了粉碎敌人东西夹击的阴谋，在陈毅亲自指挥下，新四军于10月中旬发起泗阳县陈道口战役。彭雪枫到陈毅指挥所受领任务，被留下协助陈毅指挥。
10月17日，当四师一部在途中和王光夏部第一支队遭遇时，彭雪枫深知该支队指挥官孙玉波同王光夏矛盾很深，成见很大，遂去会见孙玉波，对他晓以大义，还从新四军不多的经费中拿出1000元钱，让孙发给部下，孙玉波大为感动，答应里应外合，配合新四军歼灭了王光夏的第二支队，保证全军顺利夺取了陈道口。陈道口战役后，彭雪枫又率部协同兄弟部队，横扫了运河沿岸的伪军和土顽，将淮北、淮海、淮南三个抗日根据地连成一片。
1942年3月8日，根据华中局第一次扩大会议精神，彭雪枫发表了《迎击敌人春季扫荡》一文，认为敌寇目前的战略方针将转为实行“扫荡”战，动员根据地军民投入反“扫荡”斗争。
局势发展不出彭雪枫所料。不久，敌人就开始了空前大“扫荡”。1942年11月13日，日军五路大军，总兵力近万人，自徐州、宿迁、睢宁、泗县、盱眙、固镇各据点出发，在飞机、坦克的配合下向我军分进合击，企图以压顶之势一举歼灭四师主力。彭雪枫领导边区军民，运用游击战术与强大之敌伪军浴血奋战，彭雪枫率先指挥部队奋力杀出敌军重围，转至外线有利地区作战。接着与敌人持续激战33天，最终击溃敌人进攻。在这次反“扫荡”中，先后作战30余次，几乎日日有战，甚至有时一日数战，其中以朱家岗战斗最为激烈。
12月9日晚，青阳、归仁集、金锁镇三处敌人千余人，分三路合击我四师二十六团驻地朱家岗。大军压境，形势十分严重。但二十六团全体指战员抱定与阵地共存亡的决心，自晨至夜激战达18小时，反复肉搏，十进十出，杀得日寇弃械遗尸，仓惶溃逃，此役共杀伤敌二三百名。粉碎了敌人合击我军的狂妄计划，保证了33天反“扫荡”战役的全胜。
淮北军民取得33天反“扫荡”胜利以后，彭雪枫总结强调指出：“要使自己立于不败之地”，“必须在思想上、政治上、军事上有应付最坏情况的充分准备。”他提醒淮北军民“在枪口对准日寇的同时，注意提防不义‘友军’的背后袭击”。
1943年春，蒋介石又命令韩德勤部和王仲廉部东西并进，于洪泽湖以西地区妄图夹击四师。3月1日，韩顽侵入里仁集、陈道口地区。四师以抗战大局为重，提出严正劝告，呼吁停止内战团结抗战。韩德勤执迷不悟，反而于3月14日亲自率部偷渡运河，推进淮北根据地中心区，侵占了泗阳县金锁镇、界头集、山子头一带。
为了粉碎顽军的合击计划，经新四军军部批准，由彭雪枫、邓子恢统一指挥四师及二师、三师各一部，首先打击韩顽，于3月17日夜在山子头地区发起自卫还击，至18日拂晓，我军已大获全胜，生擒韩德勤以下官兵千余人，击毙顽固派专员王光夏、旅长吕仲环。已经越过津浦路东的王仲廉部，闻讯仓皇回窜津浦路西。
这一战役的胜利，不仅保卫了淮北抗日民主根据地，还最后铲除了国民党顽固派留在华中的反共堡垒——韩德勤部，促进了整个华中抗战局面的发展。
在淮北根据地三年间，彭雪枫除致力于军队建设以外，还不遗余力地参与根据地政权建设的领导工作。他多次亲自主持召开淮北民兵大会，认真落实毛泽东“兵民是胜利之本”的指示；多次主持淮北参政会议，调动各方面人士建设根据地的积极性；密切联系群众，为民众兴利除害，深受群众爱戴。他亲自参加大柳巷抗险斗争的事迹，至今仍然为人们所传诵。
1943年8月28日，大雨已经连续下了好多天了，淮河水猛涨，围堤缺口好几丈，眼看大柳巷方圆几十里马上有被淹没的危险。正在出席医工会议的彭雪枫，闻讯后立即率领到会的全体人员冒雨前往抢险。他带头抱草、抬土，使在场军民大受鼓舞，经6小时奋战，终于堵住了缺口，保卫了人民群众的生命财产安全，群众为感激他救民于水火之功，将此堤命名为“雪枫堤”。
在淮中平反冤假错案工作中，也体现了彭雪枫一切从实际出发，实事求是的科学态度。1943至1944年间，淮北地区发生了一起所谓“淮北中学第二次反特案件”。这一案件纯粹是某些人的主观臆断和严重的“逼、供、信”造成的，但一时却使许多人受骗。由于案情的复杂与严重，淮北区党委将此案交由彭雪枫主持审理。彭雪枫本着对同志高度负责的精神，调阅了大批案卷，找有关干部分别寻问案情，听取各种不同的看法和意见，然后用四天时间对主要“人犯”一一进行审问，终于使这起假案真相大白，为受冤的人平反昭雪。
淮北人民永远铭记着彭雪枫领导他们顽强战斗，建设和保卫根据地的光辉业绩，当时广为流传着一首《彭雪枫同志到路东》的民歌，表达了人民群众对彭雪枫的热爱之情：彭雪枫，到路东，好似桃花遍地红，扛起扁担拿起枪，跟着雪枫闹革命。
1944年8月21日小朱庄战斗前夕，彭雪枫在阵地前视察。1944年春，日本发起新一轮攻势。蒋介石继续推行消极抗战、积极反共的政策，河南40万守军不战而逃，1个月内弃城30余座，河南千百万人民惨遭日军的蹂躏和屠杀。为了拯救百姓于水火之中，同时扩大解放区，缩小沦陷区，中共中央和毛泽东制定了向河南敌后发展、控制中原的战略部署，并于7月下旬，命令新四军第四师挺进津浦路西，恢复豫皖苏根据地，并相机控制新黄河以东地区。华中局和新四军军部据此指示四师以津浦路东为基地，以主力西进豫皖苏边区。
1944年8月15日，在吴芝圃、张震的协助下，彭雪枫率四师主力西征。首战小朱庄，歼灭顽伪合流的王结援部3个团，迫使顽军支队长吴信之率千余人于战场起义。随后又击溃顽军两个纵队的堵截，打开了西进豫皖边区的通道。部队稍事休整以后，彭雪枫等率四师主力继续西进，粉碎了日伪军2000余人的跟踪“扫荡”，拔除了一系列日伪军据点，迅速收复了萧(县)宿(县)永(城)夏(邑)等县，数百万根据地人民被解救了出来。