暴动以后，“临时革命军事委员会”向武汉国民政府发电报捷，电文称：“本师反动分子暗中猖獗。（职等）于本月13日夜，协同农工群众，将本师反动分子肃清，从此绝对拥护中央，打倒蒋介石。”20日，在城内中山广场召开军民联欢大会。这次暴动，由于缺乏经验，孤军无援，很快就被朱培德第三军的杨竹轩、杨如轩所部包围缴了械。
蒋介石得知新编二师暴动的消息，大为恼火，立即让下属向国民党中央执行委员会起草了呈文：
“前新编第二师代理师长叶剑英，率师驻次吉安，勾结共产分子，阴（谋）叛党，竟于5月13日鼓动该师学生队及师部监护队，勾结当地农民自卫军，将该师忠实部队逼令缴械，并将忠实官佐逮捕监禁。该师长叶剑英及跨党分子张克等倒行逆施，谋叛党国，即通令各军一体严缉惩办，拟请准该逆等一体开除党籍。”
7月28日，南京国民党中央监察委员会召开第十七次常务会议，决定将叶剑英等“永远开除”出党。随即将呈文转给南京国民政府中央执行委员会，经8月5日第一一二次会议，决定咨请南京国民政府通缉。与叶剑英同案被开除国民党党籍并被通缉的还有张克、邹泰安、杜若、魏燮元、王彬、刘世璋、陈世光、丘维汉、楼胜利、吴洁等，都是吉安暴动的发动者和参加者。
五彷徨武汉
叶剑英一行经九江抵达武汉。当时的武汉政府，在共产党的推动下，继续实行国共合作政策。在政府管辖地区，共产党组织发动工人为改善生活地位斗争。同时，成立了以毛泽东、邓演达、谭平山等五人为委员的全国土地委员会，成立中央农民运动讲习所，培养学员在广大农村开展惩治土豪劣绅和镇压反革命分子的斗争。
但是，这个政府不但成份极其复杂，内部矛盾尖锐，而且由于帝国主义和封建军阀势力的诋毁和破坏，在军事、财政等各方面出现了严重危机。蒋介石占据东南诸省以后，同四川军阀杨森遥相呼应，从东、南、西三面包围武汉，并勾结帝国主义对武汉实行经济封锁；奉系军阀张作霖又从北方窥伺，使武汉政府处于“四面楚歌”的困境，同时，市内连续发生米荒、盐荒、油荒、煤荒，物价飞涨，企业倒闭，工人失业，使得本已困难重重的武汉经济形势益显雪上加霜。
叶剑英面对武汉这种乱纷纷的现实局面，不由得重新陷入迷惘之中。汪精卫究竟会把武汉政府引到哪里去？叶剑英开始警惕地注视着他的动向。汪是经常以“左派”面目出现的资产阶级代表人物、大政治投机家。此刻刚刚复职，担任武汉国民政府主席，极力标榜自己是孙中山的“忠实信徒”，实则从骨子里反对三大政策，敌视共产党。“四一二”以后，他明里与陈独秀发表联合宣言，握手言欢，储里又与蒋介石达成默契，准备在适当时候公开“分共”、“反共”。
武汉国民政府除汪精卫之外，还有一个实力人物谭延闽。这个投机革命的前清翰林，武昌起义后曾任湖南都督，代行过国民党中央政治委员会主席和国民政府主席之职，现虽然向汪精卫交了权，不再代理主席，但仍担任国民政府军事部长等职，大权在握。他一面把自己打捞成“左派”，一面偷偷摸摸派人和蒋介石勾结，暗送秋波。汪精卫、谭延闽之流伪装革命，迷惑了相当一部分人。共产党领导人陈独秀推行右倾投降主义政策，步步妥协退让。武汉形式上是国共合作的天下，实际上是国民党假左派当家。
叶剑英乍到武汉，一时不摸底细。他为了找个立脚点，只好先去找谭延闽这个军事部长述职。他向谭延闽报告了新编二师和吉安的现状，请求接济枪械、粮饷。谭延闽这个脚踏两只船的老投机家，怎肯资助反蒋的二师呢？他劝叶剑英暂时留在武汉，看看局势的发展再说，叶剑英便暂时下榻在武昌朝阳旅馆。
朝阳旅馆是广东人开办的，常有广东籍的客人来往和住宿。一个偶然的机会，叶剑英巧遇梅县同乡李世安。李是个秘密的共产党员，1924年6月在广东大学（后改名中山大学）读书时入党，毕业后回到梅县任教。在广州时，他和叶剑英就见过面。后来，他回梅县，在东山中学和学艺中学同时兼任训育主任和国文教师。1925年第一次东征期间叶剑英任梅县县长，多次去过母校东山中学和新办的学艺中学，二人再次相见，建立了友谊。李还结识了东征到梅县的周恩来、邓颖超。他于1927年2月离开梅县到上海，在那里又见到周恩来。后来转到武汉，在市公安局当主任秘书，他以这个公开身份作掩护，从事党的地下工作。叶剑英在武汉见到了李世安，顿时有一种“他乡遇故知”之感。二人常常见面谈心，双方有了更深的了解。
叶剑英闲住几日后，军事部来人通知他出席武汉政府召开的国民议会，会议由谭延闽主持，讨论宁汉分裂后的形势和前途。
在会上，叶剑英讲了对当前形势的看法以及反蒋的主张。他说：“有人说我是蒋介石的嫡系，蒋待我不错，蒋介石给了一个‘巴掌’（职权），我拿这个‘巴掌’打老蒋，这不合人情，对不住老蒋。其实，不是我对不住他。他在上海杀了那么多人，我怎能还跟着他干呢？”
在这次会上，国民革命军独立十五师师长贺龙也慷慨激昂地发表了反蒋谈话。叶剑英与贺龙第一次见面，对他的谈话留下了深刻的印象。
叶剑英参加完国民议会之后，动身返吉安。到了南昌，应邀出席当地驻军部分反蒋军官举行的集会，并见到了第三军军官教育团（即南昌军官教育团）团长朱德。叶剑英在集会上作了即席讲话。他慷慨陈词，激动地说：“有人问我反蒋图什么？我说我反蒋不图什么，只图个革命。我们革命的枪口要对准反革命。蒋介石自己跑到我们枪口上来，他自己当反革命，是自己找打的。我反对蒋介石不是因为有什么个人恩怨，而是因为他反革命。我们就是要讨伐反对革命的人……”
朱德十分赞赏叶剑英的讲话，当场称赞他讲得好。
叶剑英后来打听到吉安局势动荡，只好从南昌又折回武汉。
他回到武汉，又一次陷入苦闷彷徨之中。吉安既然回不去，下一步究竟怎么办呢？
六出任“铁军”参谋长
当时叶剑英在武汉还有两位老相识，一个是邓演达，一个是张发奎。邓演达在“四一二”反革命政变后，主持武汉30多万人的群众大会，声讨蒋介石，积极开展反蒋斗争。蒋介石派人拉拢不成，就通电解散邓演达为主任的国民革命军总政治部。邓演达毫不理睬，继续坚持反蒋斗争。
张发奎在参加北伐后，因战绩卓著，升任被称为“铁军”的第四军军长。此刻他正踌躇满志，到处网罗人才。他听说叶剑英来到武汉，就邀请他来四军军部，留在自己身边工作。
这时，宁汉分裂后的各种斗争日趋激化。中国政治舞台上出现了武汉、南京、北京三方对峙的局面。武汉政府虽然仍然代表着革命势力，但政府领导集团严重不纯。汪精卫假反蒋，真反共，面临外交、军事和财政等困难，领导核心加速分化。蒋介石以南京为中心，盘踞闽浙苏皖的广大江南地区，建立起完全背叛孙中山革命政纲的反动政权。北方的奉系军阀于1927年春，进兵河南，集结重兵于豫南的许昌、郾城、汝南一带，企图进攻武汉。在这种形势下，是东征讨蒋，还是继续北伐？武汉政府内部经过激烈争论，最后决定与西北的冯玉祥国民军配合，举行第二次北伐，先打奉系军阀。