皖南事变后，中共中央军委发布重建新四军军部的命令。25日，新四军军部在盐城成立，陈毅任代军长，刘少奇任政治委员，粟裕任第一师师长。
苏中根据地是华东抗日根据地的重要组成部分，是华中的东部前哨，又是向苏浙皖边区和闽浙赣边区发展的依托。而且新四军在苏中所能控制的人力、财力，在华中各战略区中占首位。这是一块敌顽我三方的必争之地。
4月，中共中央华中局决定建立苏中军区、苏中区党委和苏中行署，粟裕担任苏中区党委书记。此后，粟裕指挥苏中军区部队向日伪军展开猛烈的攻势，连续作战半个月，收复了黄桥，拔掉了古溪、蒋垛、苏陈庄、大泗庄等据点，还活捉了泰州日军城防司令。日军伙同李长江合击盐城的计划被打破了。
6月下旬，苏德战争爆发。日本军国主义也积极准备发动太平洋战争，为把中国变成它的战略后方，加紧了对占领区的争夺和控制。7月上旬，日军集中兵力，“扫荡”新四军军部所在地盐城和阜宁地区，企图歼灭新四军领导机关，摧毁抗日根据地。为配合盐阜地区军民反“扫荡”作战，粟裕指挥一师主力在苏中地区向正面之敌发动了攻势，袭击泰兴、靖江、如皋、南通等地区十几个日伪军据点，围困泰州、姜堰，相继攻克了蒋垛、黄桥、古溪等地，歼灭敌人400多人。同时破坏交通，造成敌人后勤运输的极大困难，有力地打击和牵制了日伪军，使敌人首尾不能相顾，惊恐万状。
同时，粟裕率部在苏中区积极地展开攻势，策应了第三师和盐城的反“扫荡”，保卫了华中局、军部的南大门。日寇痛感苏中区抗日军民的威胁，不得不暂时放弃摧毁我新四军军部的企图，转而南下寻歼苏中新四军主力部队，企图首先控制苏中。粟裕以苏中第二分区滨海滩涂地作为根据地的基本区，领着部队在这里打游击，天天逗着敌人“藏猫猫”，趁机便打它一家伙，打得敌人叫苦不迭。
在这一时期，粟裕还组织指挥了7次争夺三仓和5次争夺丰利的战斗，仅1941年1月至11月就作战334次，歼灭日伪军9000余人，俘虏3890人，挫败了敌人全面伪化苏中的企图。
1942年夏天，日伪军又开始对苏中地区进行分区“清剿”，企图歼灭新四军一师主力，变苏中根据地为其占领区。粟裕针对敌人“清剿”作战的特点，领导地方武装配合民兵就地坚持，指挥主力部队实行外线作战，积极打击敌人，经过半年的艰苦作战，连续粉碎了敌人频繁的“扫荡”和残酷的“清剿”，度过了抗日战争中最艰难的阶段，坚持和巩固了苏中根据地。
1943年，粟裕领导和指挥苏中军民进行了艰苦卓绝的反“清乡”斗争。日军集中1.5余兵力，企图以6个月的时候消灭苏中新四军。在持续9个月的斗争中，共歼灭日伪军2400余人，争取伪军1700余人投诚反正，摧毁日军据点49处，碉堡200余座。
1944年2月，抗战胜利的趋势已渐趋明朗化。粟裕根据对国际国内形势的准确判断，适时地提出应把领导重心“从坚持为主转到发展为主”，是到了“推进局部战略反攻”的时候了。可从哪儿开始呢？粟裕经过反复思量，深入调查，最终决定选择苏中淮安、阜宁、宝应三县交界处的车桥。
1时50分，战斗打响了。担任主攻的部队避开敌人的外围据点，直取车桥。在炮兵大队的火力掩护下，突击队越过壕沟，架起云梯，一举突入了车桥镇。到上午9时，全歼伪军1个大队，并将日军压缩于核心工事内。
第二天拂晓，敌人基本被歼灭，新四军则乘胜前进，相继收复曹甸、泾口、塔儿尖、张家桥、蛤拖沟等日伪军据点12处。淮安、宝应以东纵横百余里地区全部获得解放。苏中、苏北、淮北、淮南根据地随即连成一片。
车桥大捷，振奋人心，共摧毁日伪军碉堡50余座，歼灭日军三泽大佐以下460余人，歼灭伪军480余人，缴获了大批武器装备，创造了华中地区新四军歼灭战的范例。
1944年，战争形势急剧变化，日军收缩至东南沿海各省，而国民党顽固派却无心坚决抵抗，在东南地区一溃千里，为争取我党我军在战略反攻时的有利地位，中央指示新四军在执行西进、南下两大任务中，以南下为主，争取全面控制苏、浙、皖、闽、赣诸省，粟裕请命南进。
1945年1月，苏浙军区成立，粟裕任司令员兼政委，统一指挥江南、浙东部队，并受华东局的委托，全面领导江南、浙东两个地区的党委工作，他的工作就是：“扩大解放区，缩小沦陷区。”
从2月中旬到3月底，粟裕在天目山地区解放孝丰并歼敌五十二师、一九二师各一部，迫使敌人放弃临安。这样，我军后发制人，各个击破，以少胜多，歼敌团长以下1700余人，完全控制了天目山。
5月中旬，抗日战争胜利在望。一旦抗战胜利，浙西就成了国民党抢夺京沪杭的通道，怎能容下新四军在此立足呢？蒋介石急于独吞胜利果实，命第三战区司令长顾祝同、副司令长官上官云相，“集中必胜兵力，统一指挥，迅速剿办”，“断其后路，一鼓歼灭”。
粟裕经过反复的思索，最终确定作战的原则为：诱敌深入，各个击破，集中优势兵力首先歼敌一路。1944年任苏浙军区司令员时的粟裕。
5月28日，三路顽军分别进占新登以北一线，向孝丰以西新四军阵地进逼，与日伪形成合击之势。29日，粟裕决定乘敌立足未稳之际打乱其战略部署，以保证浙西、浙东的联系，改变日伪顽夹击的态势，以争取时间迅速集中分散的兵力。是夜，第一、七、十支队向顽军第七十九师反击，6月2日占领新登，歼灭顽军2200余人。此后，双方形成相持态势。
粟裕思考着要打破这种僵局，就必须在运动中消灭敌有生力量，需要主动撤离天目山。6月2日夜，粟裕命令十一支队掩护主力脱离战场。
粟裕进行了一番精心部署：采取先阻东打西，后阻西打东的办法，连续作战各个击破两路顽军。作战分两个阶段：第一阶段，先歼西边的左翼骨干第五十二师，并相机歼灭独立第三十三旅；第二阶段，视情况发展移兵东向，再歼顽敌右翼集团。
6月19日，敌五十二师为抢头功，竟利令智昏地孤军深入。总司令李觉也被粟裕的败军之计迷惑，不但不提醒五十二师切勿孤军深入，反而夸奖五十二师主动积极。敌独三十三旅见势也想抢头功，就谎报说部队已经进了孝丰城。五十二师得到这个消息后，便派了一个侦察排长直奔孝丰，打算同独立三十三旅联络。可当他闯到孝丰城附近时，却被新四军抓获，缴获了五十二师师长给独立三十三旅旅长的信件和作战计划。
敌五十二师是新四军的老对头，反共的急先锋，皖南事变中曾伏击我新四军军部，血债累累。这次向新四军进攻时曾扬言“再打一个茂林，完成皖南剿共未竟之功”，新四军上下对其恨之入骨。
6月19日夜，一纵、三纵和四纵一起紧紧包围了五十二师。一时间，枪炮声震天撼地，喊杀声接连不断，阵地上硝烟滚滚，弹片横飞，夜幕上空红绿曳光弹纷飞。到次日黄昏，顽军五十二师的两个团全部被歼灭。20日下午，粟裕移师东线，激战两天，全歼敌第七十九师和突击第二队大部。
国民党气势汹汹的第三次进攻，就这样惨遭失败了。此役，共歼顽军突击第一队少将司令胡旭旰、第五十二师副师长韩德考、第七十九师参谋长罗先觉等以下官兵6800余人，缴获各种炮17门，轻重机枪130余挺，长短枪千余支。
毛泽东喜闻捷报，直夸天目山战役打得好。刘少奇听到天目山三次反顽获得全胜，赞扬粟裕指挥的新四军第一师“在抗战中建立了最大的功劳。在我全军中以第一师部队作战最多，战果最大”。