刘震向军部汇报了攻打淮阴城的近况。张云逸给第三师第十旅发出了贺电，并对攻打淮阴城作出具体指示：其一，选择最有利的时机和突破口，要做到突然而又迅猛；其二，攻城要有充分的准备，包括兵力、战术和器材；其三，架设越过护城河的浮桥，或设法将河水疏导出去。刘震看完电文，对张云逸如此周密的部署十分惊叹，对部下说：“胜之用兵惟谨慎，焉能不胜之！”
为确保攻占淮阴万无一失，张云逸又电令第三师另一部在津浦路阻击敌人援兵的来路，电令第四师对李仙洲的部队进行有力的牵制，以使淮阴之敌完全陷入孤军作战的绝境之中，以利我军进行全歼。按照张云逸的部署，刘震命人对淮阴城外的地形作了勘察，随即又动员了大批支前的民工挖通了一条长达30多里的导水渠道，直达淮阴城下。
9月5日，潘干臣登上淮阴城头，翘首盼望援兵的到来，通往淮安的大道上，空空荡荡，连个人影儿也不见。哀叹之余，蓦然发现护城河的水正顺着一条新开掘的渠道，悄然流向远方，河水在不断地减少。潘干臣赶快吩咐部下“快去人给我堵住！”
刘震还命战士们暗中掘进一条通往城东门的地道，一口装满炸药的大棺材由八名名身强力壮的小伙子抬起，放到了城墙的炮楼底下，随时准备点燃炸掉敌人的炮楼。
9月6日黎明，隐蔽在淮阴城四周的新四军火炮一齐怒吼起来，为了迷惑敌人，新四军的炮火时紧时松，时疏时密，持续了一个上午。守城伪军开始很紧张，但等了半天，仍是如此，敌人觉得新四军是例行炮击，便渐渐松懈起来了。6日下午2时，刘震下令：总攻立即开始，敌人才感到新四军炮火的厉害。
首先冲锋的是师特务团和一支队。十几个视死如归的新四军战士，推着一辆板车，车上装着一枚重磅大炸弹，冒着弹雨向南门冲去。这枚大炸弹，原是日本飞机投下来的，没炸。战士们想把它推到城门下，引爆它。
敌我双方的机枪都在怒吼。几个推车运炸弹的勇士相继倒下，又有几个勇士扑上去。板车，终于被推到了南门下，一个身负重伤的战士点燃了引信。没有惊天动地的爆炸声。特务团团长郑贵卿当机立断，大吼道：“强攻！”战士们呐喊着冲上去，攀着云梯冲上去。
激战之中，一架架云梯被打断，一批批英勇的新四军战士倒下去。特务团七连五班长徐佳标身负重伤，他在昏迷中被爆炸声震醒，咬紧牙关挣扎着向敌人的碉堡爬去，一步一步地接近。战友们发现，他猛地一跃而起，用自己的血肉之躯堵住了敌人的枪眼，敌人的机枪顿时哑了。郑贵卿挥泪大喊：“为徐佳标报仇，冲啊！”战士们杀向敌碉堡。
摧毁了敌人的碉堡，战士们抬起浑身是血的徐佳标，只见他的胸口被子弹打穿了十几个血窟窿。战斗结束后，徐佳标献身的所在地——淮阴南门，被命名为“佳标门”。张云逸在悼词中说道：“佳标同志，你没有死，你的精神永远长存。”
南门尚在酣战之中，忽地从东门传来一声惊天动地的巨响。这是主攻东门的二、四支队引爆了那口大棺材，东北角的城墙被炸开了7米多宽的缺口，城上的一个敌炮楼被炸得飞上了天，一个排的守敌全部葬身于爆炸声中。
黄昏时分战斗结束了。新四军战士押着一群群俘虏们，集中到伪师部附近的大操场上，伪师长潘干臣被击毙。
淮阴城头，飘起新四军的大旗，第十旅大获全胜。消息传到第七旅和第八旅，官兵们士气大振直奔淮安。淮安一仗，也打得十分漂亮，22日攻下了淮安城。
9月21日，新四军军部和中共中央华中局由淮南的千棵柳迁到淮阴县城，从此占据了更为重要的战略要地。
两淮战役打乱了蒋介石在华中的部署，蒋介石加紧抢占大城市。9月初，南京、上海、徐州、蚌埠等城已被国民党军队相继占领。
占据徐州的蒋军，准备北犯济南；占据蚌埠、浦口的蒋军，图谋北上，互相勾结，准备两线开花，打通津浦线南北通道。
蒋介石图谋将徐州、蚌埠、浦口连成一线，再一次分割解放区。张云逸领导新四军的三、四师主力，在9、10月间彻底破坏了津浦路徐宿段和浦滁段，连续攻克9个车站，歼灭伪军1000余人，挫败了蒋介石分割解放区然后各个击破的图谋。接着，他又率领2万余名新四军官兵包围了盐城，迫使守军投诚。随后，他又挥师进攻高邮，迫使城内的守军投降。至1945年12月底，华中解放区内残存的日、伪据点被全部扫平。
1946年1月7日，中央军委命令将新四军部和山东军区合并，以便统一指挥华中和山东的军队作战，新四军军长陈毅兼任山东军区司令员，副军长张云逸兼任山东军区副司令员。
同年2月，张云逸去了延安，一个月后返回山东，并带回了一批干部。蒋介石集团不断破坏和平谈判和停战协议，准备发动大规模的内战。摆在陈毅、张云逸等人面前的任务十分艰巨，他们一方面要领导广大军民开展大练兵运动，准备随时粉碎国民党的军队向解放区的进犯以扩大和巩固解放区，另一方面还要发动广大群众进行土地革命，开展大生产运动，生产自救，巩固后方。
4月16日，新华社发表了张云逸的文章，强烈谴责国民党军队所犯下的一系列罪恶行径：国民党军队不断肆无忌惮地进行武装挑衅，仅在山东境内就向我军进攻180多次，并且在我解放区占领了400多个村庄，这种行为必将遭到人民的反对。
1946年6月，国民党30万大军向中原解放区大举进攻，全面内战爆发。
同时，国民党军队对我山东解放区也发动了大举进攻。6月21日，敌五十四军由青岛沿胶济路向西进攻；7月5日，国民党徐州绥靖公署第二绥靖区司令长官王耀武又从济南沿胶济线东犯。敌青岛、济南对进，以潍县居中策应，企图半个月内打通胶济路。
面对敌人的大举进攻，张云逸命令胶济路沿线各部队，尽力拖住、牵制敌人，寻求战机坚决消灭之。经过两个月的战斗，歼敌7300多人，有力地配合了华东野战军的南线作战。
此后，张云逸主要负责组织和建立地方武装。对这一工作他有十分明确的认识：如果没有坚强的地方武装配合，要取得自卫战争的胜利是极端困难的。因为从兵员、物资的供应，主力转移及配合主力外线作战都少不了地方武装。
在张云逸的组织领导下，山东解放区人民群众踊跃参军参战，地方武装发展迅猛。人民群众纷纷参与到“保田，保家，保饭碗”；“到前线去，到主力去”；“反蒋保田，杀敌立功”中去。
鲁南战役右，张云逸领导的地方武装发挥了重要作用。当时，敌第二十六师及第一快速纵队由山东峄县向临沂进攻，而我军主力集中于苏北、淮北，鲁南我军兵力不足。山东野战军和华中野战军遵照中央指示，将主力北调，歼灭鲁南之敌。
在1月2日战役发动前夕，华野主力尚未到达预定目标，而敌军向临沂进攻。张云逸指挥鲁南第三军分区的地方武装和民兵，在郯城县码头镇、新村一线，沿沂河东岸进行防御，保证了主力北上侧翼的安全。他们首先破坏了临枣路全线，造成国民党军队增援的困难，接着占领了卞庄泇河大桥，冒着风雪守卫了7个昼夜，保障我军顺利通过。当敌人到来之际，便炸毁了大桥，敌第一快速纵队的坦克、汽车被阻于河岸。随后卞庄西南30里的大小桥梁22座，全部被炸毁，敌退路被切断。1月3日，第一快速纵队就被我军全歼。
同时，民兵爆炸队在敌必经之地，大摆地雷阵，阻击敌人。滨海高广珍爆炸队在前线敌必经路上炸掉敌军车两辆，在一座桥梁旁埋“飞雷”一群，当场炸死过桥敌军12名，鲁南北方武装有力地配合了主力部队的作战，鲁南战役取得辉煌的胜利，共歼敌5万余人。
解放战争时期，张云逸主持山东地区地方武装的组建和支前工作，在孟良崮，在淮海战场，那一辆辆小车，一担担粮食，一双双军鞋都是张云逸和山东人民艰苦努力的结果，陈毅讲淮海战役是人民用小车推出来的，而这个小车长就是张云逸。
鲁南战役之后，中共中央华中分局并入华东局，将新四军军部改为华东军区机关，华中和山东两支野战军合编为华东野战军。陈毅担任华东军区司令员、野战军司令员兼政治委员，饶漱石担任军区政治委员，张云逸担任华东军区副司令员，黎玉担任华东军区副政治委员，粟裕担任野战军副司令员，谭震林担任野战军副政治委员。华东军区的军事工作，主要仍由张云逸负责主持，继续领导地方武装配合野战军作战。
1947年1月底，蒋介石又调集53个旅共计31万人的兵力，由陈诚亲临徐州督战，力图在临沂地区与华东野战军决战，这就是历史上着名的二陈决战。
陈毅、张云逸、粟裕等人经过研究，一致认为：目前，蒋介石集结在南线的重兵正稳步向北推进，而北线的李仙洲集团军主力已经孤军深入莱芜地区，我军应该改变原来在南线分割歼敌的打算，去打李仙洲，打一场歼灭战。
张云逸建议：“我们应该唱一场‘空城计’——舍临沂而取莱芜，这样才可能集中优势兵力歼灭敌人。”
陈毅、粟裕十分赞同张云逸的建议。
陈毅命令除留一部分兵力在南线牵制敌人外，主力部队立即撤出临沂城，隐蔽北上莱芜。张云逸随即对城内军民疏散、转移，一夜之间城墙被拆除，水井被掩埋，粮食被埋了，机场被破坏了，次日全城大转移，百姓带上许多生活用品，能带走的都带走了。
野战军主力离去之后，民兵队伍和老百姓于2月15日开始出城，男女老少有组织有秩序地离开了临沂。张云逸动员广大军民：“乡亲们，不要难过，不要怕打破坛坛罐罐，等打垮了‘刮民党’，咱们再好好建设吧！”在张云逸指挥下，2万多军民悄然撤走了。
为了配合主力部队作战，张云逸指挥地方武装和人民群众在山东地区展开了规模空前的破袭战。一次，民兵一夜之间破坏了胶济线100多公里铁路，敌援兵从青岛赶来，火车行至半路便无法前进了，大破袭一连进行了7个昼夜，参加的民兵多达10余万人。毁路炸桥，割电线，埋地雷，使得敌人寸步难行了。
2月20日至22日，华东野战军主力突然进入莱芜地区，将李仙洲的第四十六军和第七十三军团团围住。
与我党有密切联系的第四十六军军长韩练成临阵放弃指挥，使整个部队陷入一片混乱之中。李仙洲慌了神，乱了阵脚，他命令部队：“给我死守住阵地，不准后退！违令者——杀！”阵地上的敌军，在督战队的威逼下负隅顽抗，一时间敌我双方形成了对峙的局面，战斗进行得十分艰苦而激烈。23日，莱芜大战结束了。华东野战军一举歼灭敌人两个军，计5.6万余人，加上其他方向的战斗，莱芜战役总共歼灭敌军7.6万多人。李仙洲和另外几个高级将领也被生俘了，华东野战军创造了一次歼敌7个师的范例。