9月中旬，张国焘抵制中央关于左路军迅速北上的决定，强令部队南下川康边。张国焘在分裂中央的道路上越走越远，组织伪中央，公开分裂党、分裂红军，还专门派人到红三十二军，召集连以上干部开会，传达他的所谓“指示”。那段时间，罗炳辉同大家一样，心情非常沉重，对张国焘搞分裂很反感，但也无可奈何，整天愁眉苦脸。
张国焘看到红三十二军指战员对他推行的错误进行抵制，十分恼怒，便采取各种措施，蓄意要整垮这支部队。罗炳辉意识到张的阴谋，进行了积极的抵制：人员能不调就不调，能推迟走的就推迟走，能不来的就不来。
由于张国焘南下的错误决定，红三十二军和红四方面军的部队一道，往返于雪山、草地之间，在天全、芦山一带与优势兵力的国民党军连续激战，仗是越打越大，但损失也越来越严重。
1936年2月，罗炳辉部掩护红军撤离天全、芦山、宝兴地区，向西康东北部转移，3月进军道孚、炉霍。在红三十二军于王家山击敌后主动撤退时，侦察排长黄金山被子弹击中，弹从后脑部直进，从下巴出，满头血污，战士们见他已经停止呼吸，就地挖坑掩埋。土已填平，罗炳辉率殿后部队从这里路过。他听战士们说黄金山牺牲了，只是头部穿了两个洞，就命令：“扒出来，我看看”。这时，追敌已迫近，身边枪林弹雨。战士们劝罗炳辉赶快撤离，罗炳辉流泪说：“黄金山是江西宁都人，多好的一个同志！只要有一线希望，我罗炳辉就不能把他一个人丢在四川。”他蹲下身，解开黄金山鲜血流遍的胸衣，把耳朵贴到胸口上，听到还有微弱的心跳。他命令战士把黄金山扒出来，抬到后方抢救，在场的战士无不动容。
1936年5月，罗炳辉率红三十二军出道孚，经雅江南下，牵制敌李抱冰部，策应红二、六军团北上。6月3日，于理化以南甲洼寺与红六军团会师。罗炳辉发动全军为六军团战友筹集粮食、牛羊，赶制了御寒的毛衣毛袜，有效保障了兄弟部队的供给。
7月1日，中共中央命令组建红二方面军，红三十二军列入红二方面军序列。8月，罗炳辉军部三过草地，进入甘肃南部，经腊子口、哈达铺，攻克成县，复经两当、凤县、天水至会宁。继红一、四方面军10月10日会师于会宁之后，10月20日，一、二方面军会师于会宁城北将台堡，伟大的长征结束了。
长征结束后，罗炳辉部经环县之允城镇、庆阳，进至陕西三原之云阳，积极配合张学良、杨虎城的逼蒋抗日行为。12月12日西安事变发生后，移驻富平之庄里镇和流曲地区。1937年1月，罗炳辉进入红军大学第二大队学习。
1937年7月7日，抗日战争全面爆发。罗炳辉又一次投入到新的战斗中去。抗日战争胜利后，罗炳辉度过了一生中惟一的一次临沂休养后，再一次投入到人民解放事业中去，直到生命最后一刻。
1937年7月，抗日战争全面爆发，红军改编为国民革命军第八路军，红三十二军编为一二○师三五九旅七一八团。在这前后，罗炳辉到中国人民抗日红军大学和中共中央党校学习了一段时间后，同年年底就奔赴抗日前线。
1938年1月，罗炳辉奉命到达武汉八路军办事处，以八路军副参谋长名义，开展统一战线工作，同时动员和招收知识青年，奔赴延安参加革命。当年春天，他奉周恩来副主席指示，到河南信阳看望由豫南红军游击队改编的新四军四支队八团，并传达了党的指示，欢送他们开赴抗日前线。同年年底，罗炳辉抵达皖南，任新四军第一支队副司令员。
1939年5月，遵照中共中央关于新四军向东作战，向北发展的方针，新四军在安徽庐江的东汤池组建了江北指挥部，由参谋长张云逸兼任指挥；以原四支队和八团为基础，由罗炳辉组建第五支队。从此，罗炳辉在长江以北、淮河以南、津浦路东和路西地区，与日、伪、1938年罗炳辉于武汉留影。顽进行了艰苦卓绝的斗争，参加了创建、发展、巩固淮南抗日民主根据地等活动，直到抗日胜利。
7月1日，五支队正式成立，罗炳辉任司令员，郭述申任政治委员，下辖第八、十、十五3个团，共3000余人。
在成立大会上，罗炳辉发表誓师东进讲话。他要求部队坚持独立自主的原则，发展壮大人民抗日武装力量。五支队的任务是挺进到皖东来安东北的半塔集并以此为中心，建立津浦路东抗日游击根据地。为完成东进抗日任务，罗炳辉一边派先遣队侦察，一边抓紧整训新队伍。
7月的一天清早，罗炳辉随支队政治部机关的队伍出早操，并让带队的组织科长朱云谦站到排头去，亲自喊口令，“一、二、三、四！一、二、三、四！”“坚持抗战，反对妥协！”“坚持抗战，反对分裂！”一百多人随声呼应，雄壮的声音久久回荡。跑了几圈，罗炳辉指挥队伍跑出操场，向一道约两米宽、一米多深的排水沟跑去。就快到水沟边了，可仍没下“立定”或“转弯”的口令。排头的朱云谦似乎明白了罗炳辉的用意，到沟边带头跳了过去，后边的一个接一个地跟着跳了过去。
然后，罗炳辉命令队伍绕回来，这回水沟上突然多了根碗口粗的木棒。朱云谦带头走了过去，但一些学生出身、参军时间不长的人迟疑了起来。罗炳辉一边鼓励战士们，一边大步在独木桥上走了一个来回。
训练完之后，罗炳辉进行了点评。他说：“我们支队不久就要东进，那里的环境比这里要艰苦得多，政治干部光会宣传鼓动，摇笔杆子是不够的，军事上也得有点功夫！艺高人胆大，功夫全在练。野外训练也是一样，练多了，就熟能生巧，巧能壮胆，‘胆’就是真功夫。”事后他还表扬朱云谦并勉励他继续为部队做好榜样。
罗炳辉尤其注重部队的射击训练，他强调：“部队多培养一个射击手，就多一份胜利的保证。”他言传身教，对指战员影响很大。部队上下迅速掀起了学习射击技术的热潮，战斗力大为提高。
根据先遣队提供的情况，8月下旬，罗炳辉率部队经津浦铁路到达半塔集。接着，各团分别深入各县，成立和扩大群众组织，建立游击队。同时，罗炳辉亲自开展统一战线工作，争取一切可能的支持，迅速打开津浦路东地区的抗战局面，在随后同敌、伪、顽斗争中处于有利地位。
1939年底，国民党顽固派掀起第一次反共高潮。1940年初，盘踞在大别山区的桂顽疯狂进攻津浦路西抗日根据地。在中共中央中原局书记刘少奇和新四军江北指挥部指挥张云逸的统一指挥下，罗炳辉于3月上旬率五支队和由陶勇、卢胜率领的苏皖支队主力赶赴津浦路西，增援新四军第四支队，歼灭顽军两千余人，并乘胜攻克定远县城。
正当罗炳辉率五支队驰援四支队反击桂顽时，反共老手、国民党江苏省主席兼苏鲁战区副总司令韩德勤乘根据地兵力空虚，率8个团万余人向半塔集地区进攻。五支队后方机关、学校及少数连队，共约千人，顽强坚守8昼夜。罗炳辉在路西取得反击桂顽胜利后，立即率五支队及苏皖支队主力日夜兼程东返，在叶飞指挥的新四军挺进纵队配合下，于3月底大举反击，歼韩顽1000余人，其余部溃逃至三河以北。以保卫半塔为中心的反顽作战，又全歼路东数县顽军，并且端掉顽政权，取得路东地区反顽斗争的全面胜利。
1941年1月上旬，蒋介石制造了震惊中外的皖南事变，并下令取消新四军番号。中共中央为坚持华中敌后抗战，决定重组新四军军部。
皖南事变后，日寇认为有机可乘，集结7000余人对淮南津浦路西根据地进行“扫荡”。罗炳辉根据他多年从事游击战实践的经验，制定了以伏击战与运动游击战为特色的各种梅花战术对付“扫荡”，有效减少了部队的伤亡，沉重打击了敌人，十二里岔伏击战和金牛山反袭击战的胜利就是范例。
1944年，罗炳辉领导淮南抗日军民，多次粉碎日、伪军的频繁“清剿”和国民党顽军的进攻，并在当年11月，指挥部队袭入盱眙、定远县城。
1945年春，日军华中派遣军总司令冈村宁次指挥日、伪军对津浦路东地区实行大“清剿”，罗炳辉亲率一个团在六合县的八里桥和大英集等地，全歼伪军两个营，杀伤日军一部，迫使冈村宁次率部撤退。
1945年8月，日本侵略者无条件投降。在大反攻中，罗炳辉遵照中央军委和新四军军部命令，抱病率部向日、伪军展开猛烈反攻，先后攻占定远、来巡、嘉山、天长、盱眙和六合诸县城，攻克嘉山南之张八岭等车站，切断津浦铁路南段，并争取了驻浦口、六合地区的伪南京警卫第三师起义。
领导淮南军民坚持抗战期间，罗炳辉还积极参加中共淮南区的政权建设，热心为人民群众排忧解难。他经常到群众家里走访，开展调查研究，了解党的政策贯彻的情况和群众运动的情况。他发现地方干部有徇私舞弊、多收公粮、打击群众的现象，及时转告地方党委；他发现部队有损害群众利益的行为时，就严肃处理；对欺压群众的地主恶霸，他支持群众进行斗争。半塔集的大恶霸项国平，勾结日伪，充当汉奸，无恶不作，群众恨之入骨，罗炳辉将这个汉奸捉拿归案，代表政府宣判将其处死。由于罗炳辉处处关心群众，被当地群众称作“罗青天”。
日本投降后，国内出现了暂时的和平局面。但是，蒋介石为了抢夺胜利果实，调兵遣将，收编伪军，抢占华北、东北，准备进攻解放区。
为了挽救和平，揭露美蒋真内战、假和平的阴谋，团结和教育全国人民，8月28日，毛泽东、周恩来、王若飞飞抵重庆与国民党进行谈判。为了表示共产党争取国内和平的诚意，中共代表主动作出撤出南方八个省区的人民军队的让步。9月9日，中共中央制定了“向北发展，向南防御”的战略方针。
10月3日，罗炳辉率部向淮南根据地北上，经泗阳、宿迁，10月20日上午于炮车、赵墩间强越陇海铁路，进入山东。此时，罗炳辉部改称新四军第二纵队，罗炳辉任纵队司令员。
日本投降后，国民党17个军约40万人，在日伪军的接应下，分批推进到华东解放区，企图打通津浦铁路，进入华北和东北地区。为阻止国民党军北进，争取时间发展壮大我军东北的力量，中共中央指示新四军和山东部队，在济南至徐州间组织津浦路战役。10月19日，我军攻克邹县、大汶口。11月3日，罗炳辉和陈毅共同组织指挥界河战役，成功地实现了由抗日游击战争到大规模的兵团配合作战的历史性转变，歼敌吴化文部5000余人，严密控制了津浦铁路。24日，又发起了临(城)韩(庄)战役，迅速开辟了鲁南根据地，控制了徐州至济南间铁路130公里，粉碎了蒋介石打通津浦铁路的阴谋。1946年1月停战实现后，罗炳辉又倾注了极大精力，开展部队的百日练兵运动。
过度的操劳又使罗炳辉病倒了。医生们联名给军部打报告，要求罗炳辉休养治疗，陈毅严令罗炳辉休息治疗。罗炳辉这才度过了他戎马一生中仅有的一次休养生活。他于2月26日游览曲阜，3月5日登泰山极顶后，又不顾医生的劝阻，重新投入了紧张的战争工作。
罗炳辉(二排右一)、张云逸(前排右三)等合影。4月，蒋介石悍然撕毁停战协定，大举进攻苏、皖、鲁各解放区。已经被组织批准去苏联疗养的罗炳辉，毅然决定放弃出国治疗的机会，留下来协助陈毅军长，转战山东战场。4月，山东军区成立，新四军军长陈毅兼任司令员，罗炳辉任新四军第二副军长兼山东军区副司令员。
6月初，枣庄前线形势紧急。6月5日晚，罗炳辉告别夫人张明秀和两岁半的儿子新安、七个月的女儿鲁安，乘车驰援峄县前线指挥所，这是他与家人的最后诀别。6月7日，枣庄战役开始，战况十分激烈。16日，胜利解放枣庄。
6月13日，罗炳辉在峄县前线指挥所里，给张明秀写了最后一封家信。在信中，他详细地谈了对刚从延安来的长女镇涛的教育问题，希望她能“真正做一个劳动人民的儿女，女革命家”。他很惦念着幼子、幼女，在信的最后，他无限深情地写道：“秀，你对我是特别照料、关心，可是对（你）母亲的安慰信写得太少。详情再谈。”
16日，枣庄歼敌。捷报传来，罗炳辉在峄县前线指挥所主持召开高级干部会议，作新的战斗部署。深夜散会后，罗炳辉突然发烧，处于昏迷状态。17日黎明，医生确认他患上了急性肠胃炎。18日，罗病势加剧。
19日，陈毅闻讯从临沂赶来，守护在病榻边，并带来了毛泽东5月20日致罗炳辉的亲笔信和朱德6月5日以自己和康克清两人名义致罗炳辉的亲笔信。罗炳辉在病床上向陈毅叙述了自己一生的曲折经历。20日，病势趋于稳定，医生建议送罗炳辉回临沂后方治疗。
21日晨，韦国清、詹化雨、宋时轮和医护人员，护送罗炳辉回峄县，经张家庄、望夫台、吉林村东行。因道路崎岖，车极颠簸，天气酷热。在兰陵镇，罗炳辉因出汗过多，严重脱水，呈虚脱症状。延至下午5时许，罗炳辉的心脏停止了跳动。
罗炳辉生前曾多次讲过：“人生最快慰的是真正勇敢地牺牲个人一切利益，最热诚努力地为民族独立、自由解放而斗争，尤其是要为劳动大众的解放和利益，以真理、正义、公道为人类的幸福而斗争。”他是这样说的，也是这样做的。他为国泰民安奋斗32载，直到生命的最后一刻。
罗炳辉病逝后，中共中央在给华东局、新四军兼山东军区以及罗炳辉家属的唁电中指出：“罗炳辉同志的病故，是我党我军与我国人民的重大损失。罗炳辉同志早年加入滇军，参加护国、北伐等革命战争。在大革命失败后的国内战争中，领导1929年冬江西吉安起义，为人民解放事业奋斗不懈。在抗日战争中，领导新四军第二师奋战在皖东敌后，创建皖东解放区，立功尤着。中共中央谨以悲痛的心情哀悼他的逝世，并向你们致亲切的慰唁。”
临沂的新四军将士及根据地群众为罗炳辉举行了隆重的葬礼，陈毅军长在罗炳辉墓前发表演说，盛赞罗炳辉一生为革命、为人民的光辉业绩，号召大家学习他英勇顽强、不屈不挠的革命精神，继承他的遗志，为完成他未竟的事业而努力奋斗。
延安的6月29日《解放日报》以头版头条，刊登了陈毅悼念罗炳辉的讲话，在显要位置刊登了中共中央的唁电和罗炳辉的略历。为纪念罗炳辉创建淮南抗日根据地的功勋，苏皖边区政府将淮南津浦路东之天长县改名炳辉县(1960年复原名)，后来又在天长县建起一座罗炳辉纪念馆。
1950年，临沂烈士陵园建成，罗炳辉遗体迁葬于陵园内，还修建了石墓和遗像亭，墓壁上刻有朱德、周恩来、刘少奇、任弼时、陈毅等亲笔题词。