1938年1月，新四军成立，张云逸任参谋长。皖南事变后又任新四军副军长兼第二师师长。他既打仗又生产，人们至今还记得张副军长抗日的种种传说和味道不错的飞马牌香烟。
淞沪战争爆发后，长江下游地区的形势不断恶化。为了合作抗战，1937年10月，国共两党达成协议：南方各省游击队统一改编为国民革命军新编第四军，开赴华中地区作战。
张云逸在组建新四军中做了许多工作，福州谈判后，张云逸受党中央委托，去澳门迎接叶挺，主持新四军工作。
接到这个任务的时候，张云逸的心里格外高兴，这些年来他一直想念叶挺将军，北伐战争中，俩人同在国民革命军第四军中建功立业，情同手足，肝胆相照，那种战友情谊该是多么真挚啊。因此，在驶往澳门的客轮上，张云逸的心里就难以平静了。
九一八事变之后，叶挺怀着一腔忧愤从国外赶回澳门，意在重振铁军之威，报效国家。然而，国民党反动派却对他软硬兼施，又以高官厚禄引诱他与共产党为敌，遭到叶挺的严词拒绝，他依然过着清苦生活，并急切地提出与我党取得联系。
“希夷！”“胜之！”码头上，故友重逢，分外亲切，俩人紧紧地拥抱在一起。晚上，一盏红烛，两杯热酒，他们畅谈不已。“胜之啊，你知道让我心里最痛快的事是什么？”“让我猜猜看，是西安事变，张、扬捉蒋吧！”“哈哈，知我者胜之也！”
张云逸：“张、杨的爱国之心和勇气可钦可佩，不过，尤为可钦可佩的是大智大勇的周恩来，西安谈判，周公于虎穴之中是何等从容，堪称胸中自有百万雄兵，谈笑间令强虏垂首顺从啊。”
叶挺：“难怪老蒋对宋美龄长叹说，‘怎么人才都跑到中共那一边去了？唉！’”“希夷兄，说到这儿，我可就要郑重地向你提出一件大事，这可是毛泽东代表党中央委托我的。”“噢，让我猜出十之八九——让我出山。”“对啊！你这样的人才，焉能让老蒋拉过去？”
叶挺：“希夷不才，不过，却也不希罕老蒋许诺的高官厚禄。你说说，延安方面是什么意思？”张云逸：“让你出任新四军的军长。国难当头，我知道你决不会做寓公的。我来澳门之前，已经向党中央保证把你请出来了。”接下来，张云逸又告诉叶挺，朱德、毛泽东、周恩来等人对他是何等器重，又对他寄予多大的希望。叶挺听了，激动得在屋中走来走去。
几天后，叶挺秘密回国，到南京八路军办事处与叶剑英会谈，然后到延安，会见了毛泽东，大有相见恨晚之意。在了解了中国共产党抗日时期的路线、方针、政策之后，叶挺毅然同意出任新四军军长。11月12日，叶挺从延安回到汉口，以忘我的热情投入到新四军的筹建工作。
10月下旬，张云逸从香港回到延安，向党中央汇报华南统战工作之后，也奉命到新四军工作，他是最先到汉口同叶挺一起筹建新四军的我党高级干部。经过一番紧张工作，新四军军部于1938年1月在南昌正式宣告成立。由叶挺任军长，项英任副军长，张云逸任参谋长，周子昆任副参谋长，袁国平任政治部主任，邓子恢任政治部副主任。下辖4个支队，张云逸还兼任第三支队司令员。
1938年，新四军参谋长张云逸(左一)、新四军副军长项英(右一)与王明(左三)、周恩来(左五)、叶剑英(左二)等在汉口合影。新四军军部成立后，为了发展南方各省和长江流域的抗日运动，立即命令各省游击队限期集中，江南的各省游击队向安徽的岩寺集中，江北的鄂豫皖及鄂豫边区的游击队向安徽的合肥、舒城、无为地区集中。
为此，1938年2月，张云逸受新四军军部的派遣再度入闽。作为叶挺将军的得力助手，他要去闽东和闽北调查游击队的组建情况，以便尽快让这几支队伍赶到皖南集中。另外，还要去福州与国民党当局商洽，成立新四军驻福州办事处。临行时，叶挺军长握着他的手十分恳切地说：“胜之兄，拜托了！”一句话，真挚的情谊和信任都包含在里面了。
2月9日，张云逸从南昌到达闽浙赣边委所在地——江西省铅山县石塘村。在那里他抽调了一批干部筹建新四军第三支队领导机构。除了由他兼任支队司令员，谭震林任支队副司令员外，还任命了支队的其他负责干部，同时，还抽调了一批干部到支队司令部、政治部机关工作。支队下辖的两个团，由饶守坤任第五团团长，曾绍铭任副团长，由叶飞任第六团团长，吴焜任副团长。张云逸在石塘村筹建了第三支队领导机构后，便带领王助、孙克骥以及秘书、记者、机要员、警卫员等10多人向福建进发。
当时要将分散的红军游击队改编集中是相当困难的，不仅要克服战士长途步行跋涉的劳顿和粮饷不足的困难，还要在坚持团结抗战的方针下，同坚持十年反共立场的地方当局和各地驻军进行有理有利有节的斗争，要同这些反共老手打交道，委实不易啊。
张云逸一路兼程，在古田，他经过与国民党谈判，使叶飞领导的闽东游击队北上，并安全到达安徽岩寺集中。
23日，张云逸马不停蹄赶到福州，与国民党福建省主席陈仪谈判。2月底新四军驻福州办事处正式成立。同时，张云逸还促使陈仪释放了七、八位我党被捕的同志，归还了被国民党缴械的我闽中游击队的人员和枪支。之后，张云逸又到漳州向驻闽粤军再次交涉，促使他们归还了被缴的我何鸣部队的人员和枪支。上百名被解救的人围住了张云逸，有的紧握他的手激动不已，有的大声说：“参谋长，你救了我们，我们永远忘不了你的大恩大德啊！”
张云逸赶紧纠正道：“同志们，是共产党救了你们。没有党的统战政策，你们就不会被释放。”于是，许多人喊起来，表示永远跟着党，革命到底。后来，这些人跟着新四军参谋长张云逸回到闽西，编入了新四军二支队四团一营。
随后，张云逸又赶往闽北，动员山里的游击队下山整编。这支游击队听说要被改编为国民革命军陆军新编第四军，情绪闹得很厉害。有的说，国民党军队把我们逼到山林里当野人，又打又杀的，现在又要收编，这是存的什么心？有的说，跟他们编在一起，这不是同流合污了吗？也有的说，我宁可回家种地，也不穿国民党军服！在这种情况下，张云逸在其他游击队早已遇到。如何做通他们的思想工作，他也已经胸有成竹了。等大家吵闹一阵之后，他才微笑着说：“咱们改编为新四军，是抗日救亡的需要，是建立统一战线的需要，这关系到国家的生死存亡啊！同志们，这么重大的事情，我们能意气用事吗？再说，改编后我们仍归共产党领导，总指挥部还在延安，实际上只是变了个称呼而已。在统一战线中，我们坚持既联合又独立、既团结又不妥协的原则，坚持发动广大群众在敌后展开抗日斗争。我们还是人民的子弟兵嘛，怎么能说是与国民党反动派同流合污呢？大敌当前，不可同室操戈嘛！”
张云逸一番耐心细致的工作后，游击队员们口服心服了。于是，闽北的游击队很快集中起来，跟着参谋长张云逸奔赴到皖南岩寺，做好了在敌后进行抗日斗争的一切准备，张云逸也完成了第三支队伍的组建任务。
1941年1月4日，国民党顽固派制造了震惊中外的皖南事变，巨大的打击令张云逸寝食不安，彻夜难眠，但他没有被打倒，在追悼会上，他痛斥蒋介石等顽固派同室操戈，反共媚日的罪行，并代表陈毅等领导致电华中华南全体新四军，号召他们“请迅速行动为要！”
1月17日，蒋介石公然取消新四军的番号，中共中央革命军事委员会针锋相对。20日重建新四军部，任命陈毅为新四军代理军长，刘少奇为政治委员，张云逸为副军长，赖传珠为参谋长，邓子恢为政治部主任。同时将华中新四军部队和八路军部队统一编成7个师，其中第二师由江北指挥部所辖部队编成，张云逸兼师长，罗炳辉为副师长，郑位三为政委，周骏鸣为参谋长。于是，张云逸化悲痛为力量，投入到新的斗争中。他虽然担任新四军副军长，但主要精力放在主持二师的工作上。
1942年2月，新四军成立淮南军区，张云逸兼军区司令员，郑位三任政治委员，罗炳辉任副司令员，周骏鸣任参谋长。当时的淮南军区有4万将士，但弹药粮饷却无着落，怎么办？
张云逸遵照党中央的方针政策，一边打鬼子，一边搞生产，组织生产自给。他先领导建立军工厂，用农家茅舍作厂房，条件虽简陋，但工人们硬是凭自己的双手和顽强的战斗意志，创造出了年产60万发步枪子弹的成绩。子弹生产出来了，迫击炮弹也生产出来了，还生产出了地雷。
解决了枪炮的肚皮，人的肚皮更要解决好。于是，在张云逸的领导下，部队轰轰烈烈地开展了开荒种粮、喂猪种菜等活动。
在那艰苦的岁月里，张云逸职务高，年龄大，身体有多种疾病，但是抬石、开荒、捡粪，样样农活他都抢着干，身先士卒，在司令员的带领下，淮南军区生产的粮菜不仅可以自给自足，还支援了其他根据地。
1942年夏，新四军二师开大会，坐在主席台上静听其他领导作报告的张云逸，无意中发现台下有一位战士捡起台上扔下的烟头来吸，那馋极了的样子令他心头一颤，像针扎似的，心里难受极了。他自己虽然不吸烟，但作为一名司令员，战士们杀敌立功，连吸支烟都不能满足吗？他怨恨自己为什么没有早发现这个问题。
淮南的烤烟闻名国内外，但农民生产出来的烟叶却被日伪统治区的客商低价收购高价售出。这样一进一出，淮南烟农受害，我们资金外流，又使这些身在淮南的战士吸不上烟，有的烟瘾大的同志没有烟抽，就把树叶、麻叶等用纸卷起来抽。
张云逸心潮翻滚，他又想到，抗日民主政府曾三令五申，限制外烟运进，但根据地只有一家私营小烟厂，根本不能满足实际需要。淮南多么需要一个新烟厂啊！
散会后，张云逸找来供给部部长胡弼亮，第一句话是：“我们办个烟厂。”他接着说：“这样，既配合下放开展反对敌人经济封锁的斗争，又能解决干部、战士和人民群众的抽烟问题。”
尽管办烟厂面临很大困难，但在广大军民积极支持下，在1943年上半年，烟厂终于开始生产了，看香烟叫什么牌子吗？当时每天产烟600余条，大家想来想去，最后，张云逸根据淮南日报社秀才们的提议，定其名为“飞马”牌。秀才们还在飞马牌香烟盒上画了一匹展翅飞腾的骏马。张云逸高兴地对大家说：“这象征着革命的发展如骏马飞腾。好，太好了。”
金黄色的烟丝很快便被卷起，飞马牌香烟便“飞”出烟厂，“飞”到了前线，“飞”到了集镇。烟厂收购烟农的烟叶，烟农增加了收入，地方政府增加了税收，办烟厂的目的达到了。
后来，烟厂又发展了4个分厂，分别设在竹镇、古城、盱眙等地，到1945年底成立了天源公司。烟厂越办越大，不仅能自给，而且可以贸易，用它换粮食、换药品、换弹药、换布匹。
飞马牌香烟的制作技术不断改进，质量日益提高。比色、比香、比味、比烟丝、比烟灰，飞马牌香烟压倒了名牌货大英香烟。检验烟丝，大英牌含烟筋在百分之二十以上，其他牌子更多，惟有飞马牌则无烟梗子，一色金灿灿的纯叶。吸上一支，一片芳香。提起飞马牌，烟商们翘起大拇指称赞：“不怕不识货，只怕货比货；飞马牌香烟当当响！”根据地的人民群众，对于飞马牌压倒外地名牌更是高兴不已。
飞马牌声誉突起，把敌占区的烟商们也吸引来了，四邻的烟贩都汇聚铜城镇。彻底长明的汽灯，照着络绎不绝的人群，成为夜市。他们在烟厂门口连夜排队，有时竟排起几十人、上百人的长队争购。
由于敌占区封锁得紧，解放区的产品难以出关，张云逸想了个“冒名顶替”的办法。从上海精印了大批大英牌香烟空盒到铜城，里面装上了飞马牌香烟，一船一船地顺利装运出去。于是，这匹“马飞”真正展开了它金色的翅膀，飞遍淮南，一举突破了敌伪对根据地出口商品的封锁，名扬京、沪等敌占城市。
这时，在上海、南京街头，经常能见到烟商们神秘地告诉顾客：“剥了皮看肉，仔细看看，货真价实的真‘飞马’。这是‘四爷’(新四军)的产品啊！”
1943年秋，陈毅奉命回到延安参加整风运动，顺便给中央领导带去几条“飞马”牌香烟。毛泽东边抽着烟边说：“‘飞马’为抗日战争服务，为根据地建设服务，可谓‘劳苦功高’。胜之成为‘烟草大王’了！”
新中国成立后，飞马牌香烟驰名全国。饮水思源，说起“飞马牌”，它还是张云逸大将军的“专利”哩。
抗战胜利后，为执行毛泽东寸土必争的方针，张云逸指挥新四军攻占了淮阴和淮安城。全面内战爆发后，张云逸与陈毅、粟裕一道转战鲁南，重创敌军。
抗日战争胜利后，中国人民尚未从战争的阴云中走出来，蒋介石集团又把内战的厄运强加于中国人民之身，国共两党的冲突表面化、激烈化。早在日本宣布无条件投降的前两天，毛泽东在延安干部会议上便明确地指出：蒋介石对于人民的方针是“寸权必夺，寸利必得”，我们的方针应当是“针锋相对，寸土必争”。
1945年8月24日，毛泽东向千棵柳发出电报，要求新四军副军长张云逸率领新四军“力争占领小城市及乡村，迅速设法占领运河沿线及串场河沿线各城市，将苏中、苏北、淮南、淮北连成一片。”根据中央的指示精神，张云逸决定新四军首先出击淮阴和淮安城，占领这两个苏北的战略要地。
此时，淮阴城内的日军已经撤走，汉奸潘干臣的伪军和保安团，总兵力将近万人。蒋介石的目的很明确，由潘干臣的队伍死守淮阴城，切断解放区间的联系，其正规军北上津浦路，李仙洲师从东边打过来，把新四军逼出苏北，蒋介石把这个战术叫做“分进合击，有堵有攻”。
打淮阴是一次十分艰巨的攻坚战。城墙上潘干臣修筑的坚固工事，城四周和城门上筑有炮楼，城内各主要路口筑有地堡，护城河与城墙之间设有鹿砦、铁丝网等等。此外，潘干臣大量拼凑反动区乡武装，在城外十余里修筑碉堡工事，形成坚固的城垣防御，潘干臣自诩淮阴城是固若金汤。
如何攻打淮阴城，张云逸经过再三考虑，决定交给刘震。8月26日，新四军第三师第十旅在刘震的率领下，开始了攻打淮阴的准备。决定：第一步，快速扫清外围敌人，将城包围；第二步，选好突破口，以有效手段，突破坚固设防，分割歼灭城内之敌。
8月27日上午，十旅向淮阴外围据点发动了全面进攻。敌防御工事被我军一个个突破。到31日晚，我军已全面扫除淮阴城外数十个卫星据点，淮阴成为一座孤城。
潘干臣急电淮安警卫团增援，淮安敌军马上出动，走到板闸时，进入我十旅打援部队的伏击区，一时枪声大作，增援的伪军被迅速击溃，十旅攻打淮阴第一步取得了胜利。