新中国建立后，张云逸回到了广西，他剿匪，安定地方，恢复人民的生活和生产，作出了杰出的贡献。1955年被授予大将军衔，他是十大将中最年长者。
1949年9月21日至30日，张云逸以华南解放军首席代表的身份参加了新政协会议，并在开幕会上讲话，同时他被选为中央人民政府委员会委员。10月1日，张云逸参加了中华人民共和国开国大典。随后，他根据中央指示，加紧进行筹建广西的领导机构和迎接广西解放的各项准备工作。参加全国政治协商会议和开国大典后，他即到上海、武汉、南昌、广州等地，争取了一批原红七军干部、广西籍和兄弟省的干部到广西去。
张云逸清楚地记得当年红七军奉命北上时，他曾对右江的父老乡亲们说：“我们一定会胜利回来的！”二十多年前的心愿，今朝终于实现。刚刚解放的广西，满目疮痍，土匪猖獗，社会混乱，百业凋敝，人民面临着巨大的困难。党和人民将广西工作委托给他，如何带领广西各族人民建设好自己的家园呢？张云逸不断地问自己，他感到担负着比当初干革命还要沉重的担子，要更加努力，不可丝毫懈怠。
人民解放军摧毁了桂系军阀的反动统治机构之后，以张云逸为首的中共广西省委，即在桂林、柳州、梧州、南宁等城市建立了军事管制委员会。1949年底至1950年2月，广西党、政、军领导机构正式建立。张云逸任中共广西省委书记、省人民政府主席、广西军区司令员兼政治委员、广西省政协主席等职。在张云逸的领导下，各市、县、区、乡的人民政府，也都在同一时间内陆续建立。在人民政府的领导下，广大群众开展清匪反霸斗争，没收官僚资本，建立社会主义国营经济的基础，打击不法资本家的投机倒把活动，恢复和发展了生产，广西的社会秩序很快趋于稳定。
张云逸在广西首届各界代表大会上讲话。张云逸十分注意联系群众，还拿出了他干“统战”的绝活儿。进入广西前，他一再对有关负责干部强调，我们到广西来的干部和部队，一定要同广西的各族人民团结好，同广西的地下党、游击队、各民主党派、民主人士和各阶层的群众团结好。到广西后不久，他亲自召开工人、农民和少数民族代表的座谈会，听取他们的意见。他亲自同民主人士李任仁、陈此生等会见，召开各界代表座谈会，同他们一道研究有关广西革命和建设的重要问题。为了充分发扬民主，广纳群言，做好工作，在张云逸的领导下，1950年广西先后召开了省、市、县的各界人民代表会议。通过各级各界人民代表会议的召开，调动了广西各族人民当家作主的积极性，密切了人民政府同群众的联系，增强了民族团结，巩固了人民民主专政。
当时，广西匪情极其严重，除了有大量的地主土匪武装外，还有桂系头目白崇禧在广西解放前夕部署留下的3万名正规军。这些反革命武装同台湾、香港和美蒋反动派保持着密切的联系，并盘踞着山区和偏僻的农村，继续进行反革命破坏活动。1950年初，土匪在恭城暴乱，杀害我干部，群众300余人，后又在玉林暴乱，杀害我干部、群众达500多人。
面对猖狂的匪乱，张云逸义愤难平，他主持召开省委和省军区会议，根据党中央的指示，确定1950年以“清剿匪特，巩固治安，发动群众，作为全省部队压倒一切的中心任务。”人民解放军驻广西部队，积极投入剿匪斗争。在全面清剿和政治攻势下，剿匪斗争取得了初步的成效。到1950年6月，基本上将土匪暴乱镇压下去。
可朝鲜战争爆发后，广西的土匪又猖狂起来了。他们发动暴乱，杀害干部群众，破坏交通，抢劫物资，焚烧房屋，妄图同美帝国主义和蒋介石里应外合，颠覆新生的人民政权。局势紧迫，张云逸召开干部紧急会议，研究敌情，制定计划，调兵遣将，决心给匪徒以沉重的打击。会上，张云逸义愤填膺地说：“剿匪不力，就是对人民犯罪。这种局面再也不能持续下去了！”
看着年近花甲的老首长，莫文骅中肯地说：“广西是桂系军阀经营多年的老巢，其反动基础比较深厚，加上国民党军阀逃离广西前夕，精心布置留下几万名正规部队，故匪患极其严重，而我驻广西部队，地形不熟，匪情不明，所以前段时间匪特打击不够。”
“毛主席日前致电叶剑英同志，对我省剿匪工作提出严厉批评，要求限期肃清匪患，以便从广西抽调军队增强广东兵力，对付台湾方向可能发动的进攻！”黄永胜说。
“广西的情况和其他省份有所不同，匪情严重程度居全国之首。今年上半年以来，我们广西部队已歼灭了近十万土匪。但何以屡剿不绝呢？关键在于发动群众不够，领导方法上有问题。”李天佑若有所思地接过话。
“前段剿匪不力，我负有主要责任。对这一问题，我们应向中央作检讨。现在关键是如何贯彻主席及中南局指示，迅速剿匪肃特，还人民群众以安定的社会秩序。”张云逸心情沉重，他环视了一下大家，接着又说：“广西干部配备不齐，兵力不够，物资补充也跟不上，这给剿匪工作带来很大难度。可是这能作为我们开脱罪责的理由？抗日战争时期，困难比现在大多了，我们不都自己解决了吗？难道我们打败了日本帝国主义，赶跑了蒋介石八百万军队，最后却败在土匪手中吗？同志们，依我看，关键是思想问题没解决，信心不强！”最后，他神情严肃地说：“非肃清匪特，决不中途停止。望同志们提高认识，紧急动员起来，以期在限定时间内完成任务，巩固革命秩序，开始和平建设！”
很快，广西的剿匪工作进入了新阶段。张云逸虚心检查过去的工作，研究、分析匪情，总结过去剿匪教训，制定出新的计划，调兵遣将，决心以歼灭全省股匪的实际行动支援抗美朝战争。
在剿匪的日日夜夜里，张云逸居住的南宁市桃源路五号气氛十分紧张。他有时一连几天不出办公室的门槛，通过电话同中央、中南局、广西各地保持着联系，指挥发动群众，时而看地图，时而沉思，经常工作至深夜。
1951年下半年，广西剿匪工作基本上胜利结束，全省前后共消灭土匪16万余人，从明朝以来屡剿不绝的匪患终于被人民政府彻底铲除了。但张云逸并不满足剿匪的胜利，他又马不停蹄地展开了经济战线上的斗争，没收官僚资本，建立社会主义国营经济，打击不法资本家的囤积居奇、投机倒把，恢复和发展生产的工作。
短短两三年，广西发生了翻天覆地的变化，生产恢复，社会安定，民族团结，人民安居乐业，一派欣欣向荣的景象。各族人民群众由衷称赞：毛主席好！共产党好！人民政府行！张主席行！
但是长期的艰苦战斗生活和紧张的工作，使得张云逸身体衰弱，最后积劳成疾。1952年春，他感到力不从心，终于卧病在床。4月3日，张云逸收到了毛泽东的亲笔信：“云逸同志：
三月十四日的信收到了。病况甚为系念，宜注意充分休养，可作半年休养计划，以便安心调治，不为工作所牵挂，待病全好后再恢复工作。此复。即祝健康！毛泽东”。
张云逸手捧来信，不禁老泪纵横。党中央和毛泽东如此关心自己的健康，给饱受病魔折磨的他带来无穷的信心和力量。不久，张云逸便到苏联休养。
1953年春，张云逸从苏联休养回到祖国。根据党的安排，他留在中央工作。1955年9月，他参加了中华人民共和国主席授衔授勋典礼和国务院授予军官将军军衔典礼。
当周恩来将烫金的大将军衔状授予张云逸时，张云逸双手接过，良久不语。在此之前，他已数次向中央军委打报告，说自己年事已高，工作不便，要求改授他人。他谦虚谨慎、不骄不躁的作风得到了军委领导的称赞，但这个请求却没有得到批准。为此，他感到忐忑不安。
在所有授衔的大将中，张云逸是年龄最大的一个。本来，按照授予条例中规定的开辟革命根据地、创建人民武装的条件，他完全有资格被授予元帅军衔。但由于中央已对人数做了限制，所以他被授予大将军衔，但享受元帅待遇。对此，毛泽东曾做解释说：“张云逸同志在白色恐怖笼罩全国的情形下，以大无畏的精神，领导了百色起义，创建了红七军和右江革命根据地，点燃了南国革命的星星之火，功勋卓着，受之无愧！”
张云逸身着大将服，佩带一级八一勋章，一级独立自由勋章和一级解放勋章，回首半生征战生涯，心潮起伏难平。对名利他一贯看得很淡，但这勋章和奖章所意味的不是名利，而是比名利更高更宝贵的东西——荣誉。这是我们伟大祖国和祖国人民给予自己的英雄儿女的崇高荣誉，这代表着国家和人民对于自己的英雄儿女的深切感谢！
1965年，张云逸在首都国际机场迎来了李宗仁，这是两个老对手，但相逢一笑泯恩仇。张云逸设家宴款待他，李宗仁给张云逸鞠了一个九十度的躬。
时光如箭，岁月如梭。转眼到了1965年，张云逸已是73岁高龄的古稀老人，尽管年高体弱，但仍竭尽全力地为党为人民工作，他常说：“老骥惟恐夕阳短，不用催鞭自奋蹄。”7月的一天，周恩来要约见张云逸。
周恩来开门见山说道：“这次约见您，是有一个重要事情同您商量！”“重要事情？什么事情？为何重要？”张云逸心中一惊，意识到有什么重大任务了。
看着张云逸疑惑不解的神色，周恩来道：“我向您表示祝贺，您很快就能和一位老朋友见面了！”老朋友！祝贺我？难道周恩来在开玩笑？！张云逸心中嘀咕，实在不解。
这时，周恩来正色道：“前国民党代总统李宗仁先生要从海外归来，中央已决定由您到机场迎接他，胜之，相信你能出色地完成这次政治任务。”
“李宗仁要回来了？”张云逸虽然有点不相信自己的耳朵，但党的委托和周恩来的信任，使他感到心里一阵发热。不过这项重要的任务怎么完成呢？他说：“总理，情况不明，我这仗不好打呀。”
周恩来笑了：“过去的老对头，现在也不能知己知彼了。好，我这就向你介绍一下有关的情况。”接着，周恩来告诉他：“解放战争胜利前夕，李宗仁先生仓促飞离大陆，因与蒋结怨很深，又为台湾当局所不容，一直客居异国他乡，颠沛流离多年。如今，人老思乡，想落叶归根，渴望回到祖国大陆。经过我党耐心细致的工作，现在他终于解除了心理上的种种顾虑，毅然冲破重重阻力，决定返回大陆。”
听到这里，张云逸心里涌上一种说不出来的滋味：李宗仁，我跟你打了半辈子交道，恩恩怨怨数十个春秋。大革命中，我们一起讨袁护国，慷慨北伐，堪为一个阵营中的战友。大革命失败后，你却追随蒋介石，挥起屠刀砍向共产党人，残酷镇压我领导的百色起义，“围剿”刚刚诞生的红七军、红八军，攻占右江革命根据地……你欠了笔笔血债，是可忍孰不可忍！然而，抗日战争爆发后，李宗仁领导的第五战区和张云逸率领的新四军在同一地区分别在正面和敌后两个战场同敌人展开了殊死搏斗，我们又成了统一战线的盟友；进入相持阶段以后，桂系不断对新四军制造“磨擦”，我们两人打打谈谈，互为对手；到了解放战争时期，你又成了我的冤家对头。几经较量，你被我们打跑。而现在……看着张云逸深思的样子。周恩来沉默了，似乎在等待着什么。
张云逸思想在激烈斗争着，他许久不语，在房间踱来踱去，拐杖发出均匀的“嗒嗒”声。谁能揣测得出，他心里究竟掀起了怎样的波澜？
终于，张云逸收回了他那穿越时空的目光，叹了一口气用沉重的语调说：“总理，我知道自己该怎么做。在统战工作中，我们总是既讲原则性，又讲灵活性，因为共产党人的坚贞与大度并不矛盾。”
周恩来舒了一口气，身微着点点头。张云逸想了想，又恳切地说：“按理说，我们应该不计前嫌。但我和他打了半辈子仗，他杀了我们那么多的人，从我个人感情上讲，我不愿见他。但我服从中央的决定，去迎接他！”
周恩来高兴地点了点头，深沉地说：“历经波劫情义在，相逢一笑泯恩仇嘛。”张云逸仔细琢磨周恩来的话，心里豁亮了。他以标准的军人姿态向周恩来告别，一句话落地有声：“请总理放心，我一定完成任务！”
7月20日，一架波音飞机在首都机场徐徐降落。张云逸与夫人韩碧早已迎候在跑道旁。
当身着西装的李宗仁与夫人郭德洁走下弦梯时，他不由得愣住了。跑道旁，一位白发老人笑着迎了上来，似曾相识的音容笑貌，似曾相识的举手投足。究竟是谁呢？李宗仁停了停脚步，伸手揉了揉他昏花的老眼。天哪！莫非……是他？他，当年在枪林弹雨中反复较量过的、几度联手又几度相拼的老冤家，竟然会摈弃前嫌宽宏大度到如此地步，这、这怎么可能？可迎上来的人不是张云逸还会是谁呢？
一步，一步，张云逸穿过将近半个世纪的时空，穿过战火漫天、弹痕遍地的沙场，穿过风风雨雨、恩恩怨怨的岁月，向他的宿敌——不，是向转变过来投入祖国怀抱的同胞兄弟，敞开了异常坦荡的胸襟，并且伸出了热情的双手。“德邻公，欢迎你！”
霎时，李宗仁禁不住老泪纵流，他伸出的手在颤抖，长途跋涉的劳累都一扫而光，他呜咽着说：“谢谢！谢谢！感谢共产党！感谢毛主席！感谢你，胜之兄！”
终于，两位老人怀着非常复杂的感情，紧紧地拥抱在一起了。血，总是浓于水的；我华夏泱泱大国，怎能不敞开胸怀迎接自己的海外游子？
张云逸也十分激动。此时此刻，他真正感受到了伟大的社会主义祖国的强盛，体会到了党的统一战线政策无与伦比的威力。他激动地说：“德邻公，不要客气，今后我们都是一家人，回来就好，叶落归根嘛！”
几天之后，张云逸夫妇特邀李宗仁夫妇到家中做客，热情的东道主早早就收拾好屋子，准备好茶点，还特意煮好了耐人寻味的广西咖啡。两个对广西有独特情结的人品尝着淳厚的广西咖啡，禁不住抚今追昔，不胜感慨了。
张云逸微笑着对李宗仁说：“今天在我家里为你们接风洗尘，我心里十分高兴。我和夫人都不善厨艺，没什么好招待的。你我都是中山先生的学生。我和夫人都是海南文昌人，和国母是老乡，今天就让我夫人为你做些国母的家乡菜吧。让我们团结于孙中山的旗帜下，为祖国统一大业多做贡献吧！”
李宗仁与夫人对视一眼，看看真诚坦率的张云逸，想起他们过去的恩恩怨怨，是是非非，心中涌动万千滋味。他再也抑制不住自己的感谢，深深地给张云逸鞠了一个九十度的大躬。
“文化大革命”中，张云逸也受到迫害。1971年，他住进了北京日坛医院。
1974年11月19日，一代骁将张云逸以82岁的高龄，走完了戎马生涯的最后征程，永远停止了呼吸。