一在总预备队指挥部
1926年，随着广东革命根据地的统一，工农运动猛烈发展，人民群众要求国民政府出师北伐，用武力推翻帝国主义和封建军阀在中国的统治的呼声越来越高。这年2月，中国共产党中央委员会在北京举行特别会议，确定党从各方面推动广州国民政府的北伐。
北伐战争的直接打击目标是受帝国主义支持的北洋军阀。当时的北洋军阀内部，已处在四分五裂的状况中。但从表面上看，仍然是一个庞然大物，存在着三大势力：直系军阀首领吴佩孚，控制着湖南、湖北、河南三省和河北保定一带，约有兵力20万人，它的主力一时还在北方的南口一带进攻冯玉祥的国民军；原属直系，后成独立势力的孙传芳，盘踞于江西、福建、江苏、浙江、安徽五省，号称“五省联帅”，有军队20万人，战斗力比吴佩孚强；实力最雄厚的奉系军阀张作霖，控制着东北三省，热河、察哈尔、京津地区和山东，兵力有30万人。这三股军阀势力总共有兵力约70万人。而国民革命军方面，北伐开始时只有广东的六个军（何应钦的第一军，谭延闽的第二军，朱培德的第三军，李济深的第四军，李福林的第五军，程潜的第六军），后来归附的，有广西李宗仁的第七军和湖南唐生智的第八军，总共八个军。叶剑英所在的第二十师归第一军建制。当时国民革命军的总兵力有13万人左右。从兵力数量上看，虽然双方对比悬殊，但北洋军阀的统治久失人心，内部勾心斗角，尔虞我诈，存在着深刻的矛盾，这就为北伐军利用矛盾各个击破，提供了机会。
针对敌我力量对比的实际情况，国民革命军在以加伦将军为首的苏联军事顾问的建议下，制定了集中兵力、各个歼敌的战略方针：首先向湖南、湖北进军，长驱直进，迅速消灭北洋军阀中最薄弱的吴佩孚主力，争取张作霖、孙传芳两部在一段时间内保持中立；待两湖战场取得胜利后，再引兵东向，消灭孙传芳部；最后，北上解决实力最为雄厚的张作霖部，统一全国。
根据这个作战方针，1926年5月，国民革命军第七军一部和第四军叶挺独立团等部作为先头部队，先行出兵湖南，援助正被吴佩孚的部将叶开鑫部击败而退守湖南衡阳的第八军唐生智部。7月9日，国民革命军在广州市东较场举行隆重的誓师大会，然后兵分三路，正式出师北伐。
出师之始，蒋介石让何应钦率部驻防汕头，任命他的亲信、第一军第一师师长王柏龄代理第一军军长。接着，他又令第一军担任总预备队，任王为总预备队指挥官，负责指挥第一、二师，随他北伐。叶剑英被调任总预备队指挥部参谋长。
总预备队沿粤汉铁路乘车向北前进，经湖南郴州、衡阳，于8月12日抵达长沙。同日，蒋介石偕苏联顾问加伦将军及邓演达、白崇禧、唐生智等高级将领在长沙召开军事会议，决定迅速进攻湖北。主力直趋武汉，对江西暂取守势。王柏龄、叶剑英奉命于8月25日，由长沙向岳州进发。攻下岳州后，蒋介石以岳州为北伐军后方，命王柏龄、叶剑英率总预备队在此驻扎待命。
二参加南昌之役
9月6日，北伐军攻克汉阳、汉口。翌日，北伐军—部向江西进军。王柏龄、叶剑英奉命率预备队第一师自岳州开到浏阳集中，随即进占江西之铜鼓城，配合第六军东下攻打南昌。9月10日，北伐军程潜部第六军第十九师向南昌发起进攻，王柏龄、叶剑英率领第一师助攻支援。由于得到南昌工人、学生及省署警备队的内应，一举攻克南昌。
孙传芳听到南昌失守，大为震惊，迅速组织优势兵力夺回南昌。蒋介石闻讯，与加伦将军亲临前方督战，再攻南昌。加伦分析战场情况后，提议休整两周，集结力量，再重新组织进攻。但是，王柏龄不听加伦的劝告，争功逞能，急于进攻。
叶剑英冷静地分析了当时的敌萍态势，同意加伦的意见。他对王柏龄一再申明自己的看法：孙传芳的精锐部队都集中在南昌。南昌三面环水，地势险要，即使我部孤军深入，打到城里，一旦敌人断了我军的退路，进去了也出不来。况且我军刚退，士气消沉，还是缓攻为好。
一向刚愎自用的王柏龄拒不采纳叶剑英的意见，贸然下令部队攻击，孤军突进。一部分部队突入城内，遭到敌军猛烈反扑，被分割包围，无法立足。王柏龄见势不妙，贪生怕死，率先逃跑。叶剑英和团长薛岳等只好组织部队仓猝撤退，部队损失惨重。叶的护兵司徒发回忆说：“当时好险呀！多亏参谋长救了我一条命。”
10月中旬，北伐军再次发起攻打南昌的战役。叶剑英与第一师代师长王俊奉命率部参加南昌西北的王家铺战斗。
战斗经过是这样的：10月上旬，李宗仁的第七军与孙传芳的部将陈调元所率三个师在王家铺南约10里处，鏖战几天几夜，不分胜负。蒋介石闻讯，恐第七军独力难支，即派第一师前去增援。叶剑英协助第一师代师长王俊指挥部队，从白山绕出昆仑台侧背，迅速赶到山脚下。他观察战场情况，看到交战双方已打得精疲力竭，战斗接近尾声，便向王俊建议说：“他们已经打三天三夜了，我们稍加砝码，敌人就退了。”他提议将部队主力迂回到敌人侧后去，正面用一小部分兵力佯攻，命炮兵向山上开炮，迫使敌军退却，然后在运动中拦头截尾，一举歼灭之。
王俊急于立功，不听劝告，将部队全部拉到正面，发起进攻。双方刚接上火，敌军看到北伐军援兵到来，连忙撤出阵地向后逃跑。王俊得意地喊起来：“敌人退了，我们追吧！”叶剑英看到这种不讲战术的愚蠢打法，气愤地说：“还追个啥！等你追下去，人家已经跑出几十里了，什么也缴不到。”
这次战斗，由于王俊不听叶剑英的意见，打了一个消耗仗。结果只缴到一个炮筒子。参加战斗的黄埔学生军怨气横生，把这件事报告了蒋介石。
第二次攻打南昌，北伐军又遭受重大损失，被迫撤围。
10月下旬，武昌方向的北伐军主力兼程驰赴江西前线，参加第三次攻打南昌。11月8日，北伐军终于攻克南昌，全歼敌江西总司令邓如琢防守南昌的部队。9日，蒋介石率总司令部移驻南昌。由于王柏龄临阵脱逃，叶剑英率总预备队指挥部，随一师驻守南昌。
南昌之役，费尽九牛二虎之力，使蒋介石深感自己的嫡系部队问题严重。他“痛诫”一、二师长官，责骂王柏龄、王俊“根本不是带兵人才”，提出对二王要惩办、撤职。他听说在南昌战役中二王不听叶剑英的劝告，以致连连失利，于是特意召许叶剑英佩剑晋见。
蒋介石见到叶剑英，先是夸奖一番，然后摊出了此次召见的底牌，说：“现在一师没人指挥，我看你就去一师当师长吧！”
叶剑英丝毫没有思想准备。他想到一师是蒋的嫡系，有些部下目空一切，很难管束，同二王的关系也很难处，而且对蒋介石的面目还看不清楚，所以婉言谢绝说：“谢谢校长好意，只是我身体不大好，待打完仗再说吧，我还愿意继续当参谋长。”蒋介石立即吩咐军医官给叶剑英看病。军医官煞有介事地检查了半天，拿不准是什么病。叶剑英便风趣地说：“我还没吃早饭呢，等你检查确诊，人都要饿死了。”军医官没有办法，只好胡乱开个药方子。叶剑英懂得一点中医，看了看方子，是些“太平药”，便叫护兵煎几付吃下去，应付了事。
三新编第二师代师长
南昌之役，北伐军俘虏了孙传芳的军官数百名，士兵数万人。蒋介石为了扩充实力，决定将收编过来的赣军组成新编军，任命叶剑英为新编军第二师代理师长。叶不便再推辞，只好受命。他在组建师部机构时，选调了一部分云南讲武学校、黄埔军校的老同学、老同事。蒋介石又从其他部队抽调黄埔军校出身的军官，充当师部和团、营、连的骨干。同时，叶剑英还招收一些有志革命的青年学生充实到机关和部队。
不久，师部机关、教导队和三个团都成立起来，营和连的兵员也基本补齐，全师总共有6000多人。从师到连各级，都仿效苏联红军的编制，设立党代表，多由左派国民党员和地下中共党员充任。叶剑英提出“不要钱，爱百姓，不怕死”的口号，还规定了军官不准打骂士兵等军纪。部队成份虽然复杂，经过一段整训，政治素质有所提高。
新编二师组成后，很快就奉命开赴吉安。
叶剑英率部开进吉安城后，安顿好了部队，就召集各团军官开会，布置教育和训练。他利用总理纪念周这个讲坛和其他机会，每周向军官们至少作一次政治演讲，讲时局，摆敌情，号召大家北伐到底，统一中华。他提倡部队教唱革命歌曲，开展各种革命活动，支持男女青年军人演活报剧，进行街头演讲。
在吉安这一段时间里，叶剑英虽然与共产党组织没有直接联系，但时常能接受到部队左派军官和秘密共产党员的思想影响。他以极大的热情出席地方上的总工会、商民协会等组织、团体的会议，支持革命和进步的活动。他还让党代表、进步的军官与学生联合会、妇女联合会等进行联欢，演出节目。当时，中共地下组织领导的吉安县青工学徒联合会副主席吴富善就与叶剑英有过交往，得到过他的支持。吴富善谈起对叶剑英的印象，说：“他那时才三十岁，高高的个头，瘦条条，白白净净的面孔，不大穿军服，经常穿一身中山装。人很帅，也很威风。他的卫队，每人都带着二十响驳壳枪。但他为人和蔼可亲，思想进步，是个左派。我们常在县里开会碰头，见面。”
那时当个国民革命军的师长既神气，又阔气。出门不是骑马，就是坐轿子，前呼后拥，威风凛凛。在经济上实行委任经理制，即包干制。一个月全师军饷15万块银元。叶剑英当师长，从不克扣军饷。他告诫军需处长，不能贪污，每个月发完饷要清理账目，向他报告。叶剑英一向宽厚待人，关心部属疾苦，经常用自己的薪俸接济有困难的人，不论是谁，有求必应。每个月他都接到许多来信，有些老同学、老同事、老下级，这个结婚，那个报丧，每有所求，他都寄给几十元或上百元。他与身边的人平等相处。公务之余，常教他们骑马、射击，没有一点“官架子”。
四通电反蒋与吉安暴动
叶剑英身在吉安，时刻关心着全国政局的发展，尤其关注着武汉与南京两个方面的政治动向。蒋介石在上海发动“四一二”反革命政变后，江西也很快陷入一片白色恐怖之中。吉安的反动分子，也在全城实行戒严，查封工会、农会、学生会、报馆等革命机构，强行押送国民党左派和革命团体负责人出境，并收缴了县农协自卫队的武器。共产党人被迫转入地下活动。
在这种严峻的形势下，摆在叶剑英面前有两条路：
一条是荣华富贵的路。这就是继续留在蒋介石嫡系部队，为蒋效命，升官发财。那时，蒋介石很赏识叶剑英。他不单单看重叶剑英年轻有为，才华出众，更重要的是因为这个出生在广东的“儒将”，曾经追随和保卫过孙中山，在广东地区和粤军中很有些影响。他想把叶剑英拉过来，利用其威望和才干，笼络人心，控制南粤。这就是蒋介石为什么几次给叶剑英封官晋爵，甚至允许他佩剑直人其私邸的缘由。
另一条是艰难曲折的路。这就是脱离蒋介石，另寻出路。蒋介石在上海发动反革命政变，大肆屠杀工人和共产党员。这时，谁是革命者，谁是反革命，真相大白。叶剑英终于看到了国民党右派的反动本质，认清了蒋介石的丑恶面目。蒋介石口头上高喊“国共合作”、“三大政策”，实际上是挂羊头卖狗肉。当需要工农大众替他打江山的时候，就满口的“扶助农工”，一旦江山得手，便“翻转猪肚就是屎”，立刻变成了“砍杀工农”。那些过去标榜自己是“左派”的革命者，这一次摇身一变，亮出了货真价实的右派嘴脸。右派掌了权，国民党就变了质，变得腐败无能，反动透顶。在他们的统治下，人民大众就遭了殃！
是反蒋，还是投蒋？事情就这样明摆着，毫无调和余地。在两条道路面前，需要迅速作出抉择。
叶剑英经过反复思索，终于选定了反蒋的路。选择这条险路，在他内心深处，是经过一番激烈斗争的。正如他事后回忆的：
“宁汉分家以后，蒋介石说汉口反革命，武汉说蒋介石反革命，两下吵。我对武汉没有多少怀疑。但蒋介石还是总司令。究竟跟着谁走？那时没人来，也没电报来。我就自己看报纸，关上门，想了几天，什么问题都想到了。我想到自己年轻时立志为国为民做点事，参加革命后当了师长。那时师长每月差不多都有二三万元收入。二三万元不少了，十个月就是二三十万，公公道道，做二三年师长就是个百万富翁。……如果只是为了个人，跟蒋介石走，至少可以做大官。但是，蒋介石在上海屠杀工人，屠杀群众，变成了十足的反革命！一个革命，一个反革命，阵线已很分明了。参加革命，还是反革命？想了想，只有革命才有出路。所以我就下了决心，通电全国反蒋。一边倒，倒到武汉方面。”
叶剑英决心已定，便与几个左派军官谈了自己的想法，决定通电全国，公开反蒋。他召集全师军官开会，告诉大家：愿意革命的，拥护武汉政府的留下；拥护蒋介石，想去南京的，也请自便。
叶剑英亲自起草并领衔签发的反蒋通电，使当时的政界和军界十分震动，也大出蒋介石的意料之外。原第四军副军长陈可钰为这件事去报告蒋介石：“叶师长反对我们！”蒋介石不信，说：“叶师长不会反对我们。”陈第二次去报告：“叶师长真的反对我们！”蒋介石偏了偏头，说：“好啦，知道了，你下去吧。”还是将信将疑。
这时，吉安二师的右派军官和“孙文主义学会”分子与当地右派势力勾结起来，准备闹事。叶剑英与左派军官紧急秘密商议，决定二师举行武装暴动，拉队伍北上，投向武汉国民政府。同时，他作了如下部署：（一）迅速察明各团、营官兵的动向，以及驻地情形，拟出分头袭击、扣押右派军官、收缴枪械计划；（二）挑选特务营手枪队、教导队可靠人员分头执行袭击、扣押人员和收缴枪械的任务；（三）完成任务后，举行誓师大会，迅速编成四个团，取道赣北，经武宁、成宁，向武汉进发。
吉安的反动势力也加紧了行动。他们的矛头直接指向叶剑英。这样，叶剑英在吉安便站不住脚了。他决定先去武汉进行联系。离开之前，左派军官和师部人员以给师座祝贺生日的名义，在师部驻地的后花园，几次摆宴集会，联络感情，交换情报，议论军机。有的团长急于举事，对叶剑英说：师座，还是快干吧！叶剑英示之以缓。最后一次集会，还摄影留念。这一照片，由当时师部的女军医陈子瑶藏在一具棺材底下保存下来。
为了躲避右派的耳目，叶剑英一行数人化装秘密起程。他走后，二师左派军官成立了“临时革命军事委员会”，于5月6日通电讨蒋，电文载当日汉口《民国日报》。通电发出后，遭到右派分子激烈反对，双方剑拔弩张，二师陷于分裂状态。“临时革命军事委员会”经过多方酝酿，紧急磋商，于5月13日夜举行了武装暴动。左派军官们以敏捷的动作逮捕了反动军官，控制了部队。