国民党全面进攻被粉碎后，蒋介石决定对陕北和山东两解放区发动全面进攻。3月下旬，蒋介石以24个整编师60个旅共计45万人，向山东解放区发起重点进攻。这一次，敌军一改过去分进合击的战术，而是集中兵力、齐头并进、密集靠拢、稳扎稳打。到4月上旬，鲁南解放区被占。敌人又向鲁中地区推进，直逼泰安、莱芜、新泰、蒙阴、沂水一线。
面对敌军的进攻，陈毅、张云逸号召华东解放区的全体军民，发扬勇敢战斗、不怕牺牲的顽强作风，以游击战、破袭战、歼灭战等灵活多变的打法，采取穿插分割、各个击破的战术，去消灭敌军的有生力量，保卫解放区。为粉碎敌人的进攻，张云逸率领地方武装和几十万民工，在艰苦的环境中密切配合野战军主力作战。
5月上旬，国民党军队向我鲁中解放区发动进攻，企图迫使华东野战军撤往黄河以北，或者在鲁中山区与之进行决战。汤恩伯以整编第七十四师为主力，命两个师分别在两翼起保护和协助作用，他们以沂蒙公路上的坦埠为主要攻击目标，向我鲁中解放区进攻。
陈毅、张云逸、粟裕等野战军领导果断地率领主力部队后退，集结在莱芜、新泰、蒙阴以东地区捕捉战机。5月11日，汤恩伯整编第七十四师从蒙阴东南地区向北推进，与两翼部队之间无法配合，出现了孤军深入的局面。
陈毅、粟裕抓住这一战机，命两支纵队分别插入第七十四师与其左右两翼的接合部，断其联系，配合正面两支纵队的攻击，另以一支纵队切断七十四师的退路。从13日起，第七十四师被华东野战军逐步压缩在孟良崮一带。
激战之际，张云逸指挥的支前队伍带着粮食、弹药，冒着敌人的炮火奋勇向前，队伍中有男有女，有老有少，有身背的，有肩扛的，有独轮车推来的，有挑着担子送来的，也有牵着牲口驮来的，汇成了一股人民支前的洪流。
敌军为切断我军后勤供应，出动飞机轰炸我支前大军，敌机对准山路一架接一架俯冲下来，机关炮打出一串串烟尘，许多人负伤或牺牲。受惊的骡马驮着口袋狂奔，草木和石头被落下来的炸弹炸得飞起来。就在这危急之际，张云逸出现于支前队伍中，高喊：“乡亲们不要慌，赶快卧倒隐蔽好，有枪的向敌机射击！”
支前总指挥临危不惧，乡亲们随即安定下来了。几十名担任护送任务的民兵当即举枪还击，并击中敌机一架。
几十万支前大军，冒着敌人的炮火，不怕艰辛、不顾生死地奔赴火线，他们给野战军运送食物和弹药，有时还直接参加战斗，保证了战争的胜利。
孟良崮之战进行了3天，敌整编第七十四师被彻底击溃，师长张灵甫被击毙。
进犯华东的国民党军队经过40天的休整，又以32个旅24万余人向鲁中山区发起攻击。7月1日，华东野战军两路出击，奔往鲁南和鲁西去抄敌军的后路，又在沂水、悦庄公路两侧展开大规模的破袭战。到中旬，迫使敌人7个整编师不得不狼狈西撤，其进攻鲁中的计划也随之破产。在这些战斗中，张云逸所指挥的支前大军保证了我军的后勤工作，对战争的胜利起了不可估量的作用。
从7月至9月，人民解放军由转入战略进攻。陈毅、粟裕率领华东野战军主力赴扑中原，转战鲁西南，并于9月7日打响了沙土集战役。
战争需要的大量作战物资，供应前线作战，张云逸和他率领的支前大军又出发了。
年底，华东局召开高级干部会议，着重研究节约支前问题。张云逸在发言中强调：大后方必须精简编制，清理资财，压缩供给标准，坚决反对本位主义和贪污浪费，尽最大可能集中人力、物力、财力以支援前线。他的主张，立即得到与会人员的拥护。
黄克诚自己率先垂范，体弱多病的邓子恢等领导人，都不顾大家的劝阻，取消了小灶伙食和其他优待，以极尽全力保证前方的供应。
人民解放战争需要源源不断的兵员补充，通过思想教育，动员群众参军，并着重在家庭劳力较多、困难较少的青壮年中选拔战士。
由于扎实而细致的工作，群众纷纷表示：“冤有头，债有主，不打倒蒋介石，这笔血债永远算不清。”有不少群众甚至集体杀鸡明誓：“上有天，下有地，面对领袖毛主席；要伸冤，要报仇，坚决打倒蒋介石。”于是很快形成自觉报名参军的高潮。
在粮食支援前线上，1947年后，由于作战部队和支前民工的增多，吃粮人数剧增，仅靠地方粮食机关供应难以满足需要。张云逸等便建立了随军粮站，其基本任务是统一接收地方及后方运来的粮食，再统一供给部队。
在中原大地发动战略大反攻的刘邓、陈粟、陈谢三路大军，至1947年12月底会师于河南确山地区，将鄂豫皖、豫皖苏、豫陕鄂三大新解放区连成一片。与此同时，内线我军在各战场的解放军也相继转入战略反攻。
人民解放战争进行了两个多年头后，转入了战略决战，战略决战的标志就是攻取敌人层层设防的济南。济南战役打响之前，摆在张云逸面前的最艰苦的任务，就是如何解决前线将士的吃饭、穿衣问题，以保证我军的物资供应。
在攻济战役开始前，张云逸视察了攻打济南的部队时，看到指战员们吃穿都很困难，难过得流下了眼泪。他决心在10月前，基本上解决前线官兵们的衣食问题。在那战争的日子里，人们经常看见这位年逾半百的副司令带一支人马驰骋在解放区的乡村、田野，征军粮、收征衣，以保证部队的供应。
当看见一位大娘将自己的棉袄拆开，掏出棉絮正往还没缝好的军衣里塞时，张云逸不禁老泪纵横。当拿起一位绣有“杀敌立功”的军鞋时，张云逸深情地说：“在江西老区，乡亲们把它称做‘量天尺’，我们就是要用这样的尺子，一步一步地量完中国大地啊。”在解放区人民的全力支持下，在不到两个月的时间里，制做棉衣的任务就提前完成。
9月16日，济南战役开始了。为了保住这块连结津浦、胶济两条铁路的战略要地，隔断华北、华东解放区的联系，蒋介石命王耀武以10万余人的重兵固守济南，其徐州地区还集有援兵17万人。华东野战军以14万人攻城，另以18万人打援。
战斗异常激烈，激战八日之后，济南战役结束。被活捉的王耀武望着从四面八方拥进城的战士、民兵和民工，一时惊呆了。见了陈毅和张云逸时第一句话就是：“王某此次战败，因为你们的人太多。”
“啥子太多！简直是乱说！”陈毅问道。王耀武用手指着那些推小车的、抬担架的、牵骡马的、扛着土枪跟在野战军队伍后的人。张云逸不禁开怀大笑：“你说的是这些老百姓吧？哈哈，这就是我们的援兵，源源不断的援兵啊。”
11月6日，淮海战役开始。淮海战役，以徐州为中心，东起海州，西至商丘，北起临城(今薛城)，南至淮河。在如此广大的地区，敌方投入的兵力将近80万人，而我方投入的兵力大约60万人，在江淮之间展开了惊心动魄的大决战。
战争需要足够的后勤保障。时值初冬，张云逸披星戴月、顶风冒雪奔波在千里运输线上，率领数十万民工昼夜兼程，为华东、中原两野战军和地方部队运送粮食、弹药、冬衣，上火线抬伤员或是直接参战。遇到需要之时，往往是人不歇肩，马不停蹄。
张云逸曾感叹道：“山东老乡有句俗话，叫做‘腿肚子绑灶王，走到哪吃到哪’，不论是官还是民，一块干粮一壶水，风雨里吃喝大路边睡，可真是风餐露宿啊！”
11月6日至22日是淮海战役第一阶段，双方打得异常激烈、艰难，华东野战军以7个纵队分割、围歼黄百韬兵团。与此同时，国共双方的供应战也打得难解难分，敌方的运输队来了，一辆又一辆的大卡车风驰电掣，可是他们跑不到运河西岸，就在半路上被伏击的部队和民兵打掉了。我方的运输队来了，牵着牲口的，推着小车的，肩挑背驮的，就在敌机的轰炸下义无反顾地前进，在运河边，民工们在冰冷的河水中连夜架起浮桥，让运输队火速赶到运河西岸去，及时把粮食、物资送到前线。
为了提高运输效率，运粮民工车车超载。泗水县运输团，一次接受6天内运送9万斤粮食的任务。在途中，敌机狂轰滥炸，运输团的1000多名民工有的牺牲了，但他们还是忍饥耐寒，破冰渡河，胜利完成了任务。
巨野民工有一次运粮，先用大车装载，但不巧的是天陡降大雪，道路泥泞，车不能行。他们只好改大车为小车，雪下得更大了，天地一色。于是，他们又组织了一万多群众用肩挑，用人抬，终于提前超额完成了任务。
有一天，张云逸骑马赶到运河边，发现一支来自鲁南的运输队正在小憩，民工们一个个衣衫褴褛，瘦骨嶙峋，疲惫不堪，他们席地而坐，啃高粱饼子，嚼红辣椒，喝混浊的河水。张云逸问：“是累的饿的吧？”那几个小伙子点了点头。张云逸说：“车子上有粮食呀，你们拿一点煮了吃吧。”小伙子们相互看看，又笑着摇头，都说不能吃，这粮食是打仗用的。两天一夜，他们只吃了一顿饭，而车上的面却一点未动。
几十万支前大军，就这样在张云逸的率领下，克服了许多令人难以想象的艰难险阻，迎来了1949年1月10日淮海战役的最后胜利。回忆淮海战役，陈毅曾深情地说：“淮海战役是老百姓用手推车推出来的”，而这支手推车的队长就是张云逸。
1948年11月，华东地区的野战部队统一整编为华东野战军，1949年1月又改为第三野战军，同时按地区建立各级军区，华东军区为一级军区，下辖山东军区等二级军区。张云逸任华东军区副司令员兼山东军区司令员，继续在后方主持华东军区和山东军区的军事工作。
1949年1月，在山东省五莲县，张云逸主持召开了一次支前工作会议，总结了解放战争以来我军支前工作的经验和教训，表彰了那些屡立功勋的民兵、民工组织和个人。说到动情处，他竟然站起身，向来自山东各地的支前代表们1949年6月张云逸出席中国人民政治协商会议筹备会议。敬礼，十分恳切地说：“请各位回去后，代我向父老乡们亲道一声谢吧。就说，我张云逸感谢父老乡亲们这些年来的大力协助和奉献啊！”顿时，全场响起一片激动的掌声。
接着，张云逸又提出一个更加鼓舞人心的目标，他说：同志们，历时142天的辽沈、淮海、平津三大战役已经胜利结束，中国人民解放军下一步的战斗任务是什么？是打过长江去解放全中国。面对如此喜人的形势，我们能不振奋斗志、再接再厉吗？为了更好地完成支援前线的艰巨任务，我们必须筹集5万万斤粮食，征集10万名新兵、10万民兵，还有各种相应的运输工具。总之，一切为了前线的胜利，一切保障前线的胜利！
1949年3月5日，中国共产党七届二中全会，在河北省平山县西柏坡召开。会后，张云逸赶回山东，向华东军区的广大军民传达这次全会的精神。4月20日，人民解放军发起渡江战役。
渡江作战，山东解放区虽距战场远，但仍担负了大批随军常备民工的动员和粮煤等物资供应的任务。他们全力载着大批支前物资，欢欣鼓舞地“推着小车下江南”。据统计，渡江战役华野使用的随军民工由山东、苏北、皖北三个地区组成，共17万人。其中，山东有6万余人。渡江战役中，百万雄师以木帆船为主要的航渡工具，而划船的任务很多由支前民工承担下来。正是千百万人民的参军、支前，才保证人民解放战争的胜利，而人民是需要组织的，张云逸就是最重要的组织者之一。