孙中山稍微沉思一叶刻，又重点点头说：“是的，‘联省自治’的口号是有很大的欺骗性的，从表面看起来，大家都自治了，和平了，没有战争了，一派升平的景象，不是很好么？可是你从其实质来看，就不是那么回事了。如果承认了联省自治，就等于承认了军阀统治存在的合理性，就是把我们可爱的中国划分成了无数个小块领土，让无数个大大小小的军阀们去统治着。军阀们的口味是永远不会满足的，一旦他们自认为坐稳了自己的地盘，就要去争夺他人的地盘，那就使整个国家常年陷于内乱和战争之中。陈炯明和军阀门喊同一个口号，足可看出他已经完全变成了一个道道地地的军阀了。可是这样的叛贼竟然要我和徐世昌同时下台，故意把我这个堂堂的由人民选举出来的总统和反动政府的头头混同在一起，这完全是在混淆是非，颠倒黑白，我是不会答应的！”
听着孙中山慷慨激昂的言论，大家都觉得受到了极大的鼓舞，一个个精神振奋起来。
孙中山离开广州到上海的消息很快便传了开来，反动军阀们个个欢欣鼓舞，认为他们这次是真的彻底打败了“孙大炮”了；陈炯明更是气焰嚣张，在自己的司令部里大肆请客，庆祝自己的胜利，还对各处发号施令，俨然以广东的“王”自居。在这种时候，那些本来就是抱着靠革命来混个官位当当的投机者和革命意志不坚定的“革命者”们立即倒向了反动势力，放弃了自己的主张。在广东的周边省份，北伐军受了暂时的挫折后正在休整，陈炯明的叛军们趾高气扬，洋洋得意，好像从此天下就是他们的了。
可是，在另一面，广大的革命的工农阶级却对孙中山继续寄以厚望，他们对孙中山来到上海表示热烈的欢迎，希望孙中山能在上海继续领导中国的革命。当孙中山要在8月13日到达上海的消息传到上海时，上海的各界人民立即沸腾起来了。当天，在孙中山预计要上岸的码头上，早早地就聚集了成千上万的人，大家翘首盼望着孙中山乘坐的俄国皇后号轮船。可是等啊等啊，预计要到的时间过去了几个小时，还是不见孙中山的船只到来。傍晚时，有人来说：“孙中山先生在海上遇到了风暴，轮船耽误了行期，要到明天才能到达。”人群这才怏怏离去。
第二天一大早，又有成千上万的人来到了码头上，他们生怕来晚了看不到孙中山，都想早一点看到自己心目中的领袖和英雄。据当时的报纸统计，除了自发地来欢迎孙中山的人以外，有组织地来欢迎孙中山的团体就工艺有四十多个。可是不巧的是，因为海面上风势还是很大，俄国皇后号不得不在吴淞口提前靠岸，孙中山从这里乘车回到了他在法国租界里的莫利爱路29号的公寓里。当天在上海码头上欢迎孙中山的人群尽管扑了一个空，仍翘首盼望，直到听说孙中山已从陆路到了家后才肯散去。后来，孙中山听说有这么多的人在码头上欢迎自己，激动不已，便通过报纸对上海的大众表示诚挚的谢意。孙中山说：“找这次到上海，有劳诸位在江岸连续两天迎侯，这使我深为不安，更为没能在江口与各位一一相见而深表遗憾”。
孙中山一到上海，第一件事情就是在上海向社会各界再次揭露叛贼陈炯明的逆行，他发表了一篇宣言，简要地叙述了陈炯明的叛变经过，并在宣言中大声疾呼：“在我党中，凡是忠于民国者，我将以他为忠实的朋友；凡是不忠于民国者，我将把他当作敌人，对于民国的敌人，我将竭尽我之所能，全力以赴地讨伐他！”
因为没能在江口见到孙中山，上海各界的代表们又在8月21日，这一天选出了四十多位代表，集体来到孙中山的住所求见孙中山，这使孙中山更进一步看清楚了人民大众中蕴藏的强大的革命力量，更加坚定了他把三民主义坚持到底的决心和信心。据记载，当时到孙中山寓所求见孙中山的有中国工人联合会的张公权，中华工会主席史观涛，中国妇女劳工促进去的程志英，上海职工工会浦东分会的徐锡麟，船务栈房工人工会委员会委员卢丕，湖南劳工会王光辉，中华劳工会主席陈国梁，广东同乡会凌翼之，商工互济会主席童理章，妇女联合会会长黄宗汉，河北建设会汪剑农，上海印刷工会张占刚，中华进步劳工会王吉人，中华民国各团体联合会翁吉云，旅日归国学生会俞之，旅法归国华工会杜虎臣等等。各界代表来到孙中山的公寓后，为了表示对孙中山的尊敬之情，大家都不进公寓去，一齐站在庭院里。孙中山见大家如此盛情，也便来到了院子中，人群立即形成了一个半圆形，将孙中山拱卫起来。孙中山就站在这圈子中间村大家讲了很长时间的话。孙中山时大家说：“诸位都是来自各民间团体的，大家来看我孙中山，使我感到无尚的荣耀，是各位对我民国政府的信任和期望。我希望今后大家能更多地关心国家的政事，更多地尽到自己作为一个国民的责任，主动地监督政府的行动，都来为救国做点工作。这次陈炯明叛变，使革命遭受到了巨大的损失，但是，北伐军正在准备南下讨伐广州的叛军，目前虽然受了一点挫折，暂时退了回去，但是并没有彻底失败，最后一定会打败叛军的。陈炯明甘冒天下之大不韪，居心险恶，他只可得逞于一时，是不会得意于永远的。等到我们的革命最后成功的时候，大家才会明白强权是不可以永远为所欲为的，真正的公理必定取得最后的胜利。”
为了欢迎孙中山，上海各界准备举办更大规模的欢迎仪式，六十六个团体派代表来筹备这次欢迎会，并决定在9月9日这天借上海总商会或借法国租界的尚贤堂来正式举行一个“中华民国各团体欢迎孙大总统大会”，会议准备要请孙中山在大会上即席发表演说，还要出版大会的特别会刊，并且在上海各界发出通知，凡自愿参加的各团体都可以报名。通知一出，立即得到了各进步团体的支持，几天之内，有一百五十多个团体来报名，要参加这次盛会。
孙中山领导的国民革命，不光是反动军阀们不高兴，连外国的反动势力也非常恐慌，他们生怕孙中山领导的革命取得成功后会损害他们在华的利益，总是勾结起来反对国民革命。当孙中山离开广州的时候，外国在华的各种势力对孙中山仍不放心，他们派出密探密切监视孙中山的的行动，竭力阻止和破坏孙中山的革命行动。就在孙中山刚到上海的当天，在香港的英国陆海军联合情报局香港总部便致信上海情报局的特务，要他们密切注意孙中山的活动，信中说：“孙中山现在已经到了上海，务必将他在上海所进行的政治活动每周给我们报告一次，如有重大事件请随时给我们发特别报告。”英国驻上海的总领事加斯丁收到这封信以后，立即让工部局警务处派人暗中监视孙中山，并把孙中山每一天的活动和每一件事情不分大小都要向他们报告。
美国人则对孙中山在上海如此大受欢迎感到吃惊，美国驻上海的总领事克银汉向美国国务院报告说：孙中山原定在8月13日到达上海，主动到江口来迎接他的人成千上万，因为风大船小，耽误了船期，第二天来江口欢迎的人更多。值得注意的是，在欢迎的人群中，有很大一部分是团体的代表，而且到孙中山的住所来看望孙中山的人更是络绎不绝，由此看来，孙中山虽然在广州失败了，可是他在上海乃至在全国取得了胜利，他已经奠定了在全国的领导地位。尤其令人发生兴趣的事情是，来到孙中山的住所里的人很多是当前北方政府的著名的军政官员。克银汉还据此提请他的政府多加注意。同时，美国的《纽约时报》发表通讯说：“孙中山在上海已成为了政治人物的中心，连孙中山的住所也已经成为各种不同政见的领袖人物所朝拜的圣地，并且几乎成了政治领袖人物的共同的沙龙。”
对孙中山在民众中的巨大的吸引力，上海军阀和受帝国主义控制的当局势力甚为害怕和担心，他们总是要想方设法来破坏孙中山的活动，阻隔他与公众之间的联系，一面派出大量的特务去监视孙中山，一面又多方阻挠孙中山的行动。他们听说上海各界要在法国租界内举行盛大集会来欢迎孙中山，还要请孙中山在大会上发表演讲，而且还要出版特别会刊，立即慌了神，拒绝在租界内的尚贤堂开会，也不准总商会开会，说会议是带有政治性的，违反了工部局的章程，禁止召开。
尽管各种反动势力的阻挠，孙中山仍然顽强地进行他的革命活动，他在自己的注处不断接见国民党的高级军政要人，部署继续讨伐陈炯叫的战斗计划。9月18日，孙中山发表了《就陈炯明叛变事件致海外同志书》，对这次因陈炯明的叛变而导致革命的失败深表痛心，再次揭露陈炯明的叛乱经过。文中说：
此次陈炯明叛变，非惟文与诸同志所不及料，亦天下人所不及料，盖以陈炯明之性质而论，其坚忍耐劳，自有过人之处；然对于国事常存私心，且城府深严，不以诚待人……以炯明与文相处关系而论，相从革命以来十有余年……方期戮力中原、以酬夙志，乃出师甫捷，而祸患生于肘腋，干戈起于肺腑，不但国事为所破坏，党义为所摧残，文与诸同志为所牺牲，即以其本身人格信用亦因以丧失无馀……文于8月13日抵沪，15日发表宣言，进行方针大略已具，撷其要旨，不外数端：其一，文任用非人，变生肘腋，致北伐大计功败垂成，当引咎辞职。其二，对陈炯明所率叛军当扫灭之，毋使以祸粤者祸国。其三，护法事业，当以合法国会完全自由行使职权为究竟。其四，关于民国统一与建设，当实行工兵计划，发展实业，尊重自治。至文个人，以创立民国者之资格，终其身为民国尽力，无间于在位在野……近据报告：许崇智、李福林、黄大伟等部现在赣东者有众万余人，朱培德、陈嘉佑等部现在湖南者亦有众万余人……军力未失，士气踔厉，疲劳恢复，不难再举。黄明堂在高、雷、钦、廉举兵讨贼，以为响应……而两粤同志军队蓄志杀贼、待时而动者，为数尤多，陈炯明叛党祸国，纵兵殃民，罪恶贯盈，难稽显戮。凡我同志，但当踔厉奋发，努力不懈，粤难平定为期必不远也。
确实，在孙中山的秘密部署和指挥下，北伐各路军队经过一番休整之后，有步骤的南下讨贼行动正在积极的筹划中。
再度讨贼
在上海的日子里，孙中山一面深刻反思自己建立民国十几年来所走过的道路，一面有计划有步骤地部署着讨伐陈炯明的行动。
首先，孙中山命令驻扎在江西的北伐军许崇智、黄大伟、李福林等人率领自己的部队进入福建，与福建的皖系北伐军王永泉部会合，进攻福州。孙中山在给黄大伟的信中说：“记得你在梧州时说过，陈炯明他敢打我孙中山一枪，你黄大伟要打他陈炯明十枪、一百枪，现在，陈炯明已经不是打了我一枪，也不是十枪，而是成千上万枪，看你黄大伟怎么给我向陈炯明讨回这个公道来！”
接到孙中山的命令后，许崇智立即通电声讨投靠了北洋军阀的福建总督李厚基，挥兵进入福建境内；王永泉也在福建境内宣布独立，与许崇智相互应和。李厚基大为惊慌，火速向陈炯明求援，陈炯明也立刻派出他的心腹将领洪兆麟为援闽总司令，带领三千人马奔向福建。
可是，这时候的北伐军已经不是上次从北伐前线匆匆撤回、疲劳不堪的队伍了，这是一支带着消灭叛军的坚强信念的勇猛无比的军队。李厚基和洪兆麟率领的军队刚刚跟北伐军一接触，立即溃不成军。入闽的北伐军长驱直入，到1922年的10月6日，就迅速地攻占了古田；12日，又攻占了福州。捷报传来，孙中山为之欢欣鼓舞，立即发去电报，对英勇的北伐军将士表示热情的鼓励和赞赏。这时候，福州各界又纷纷来函来电，邀请孙中山早日赴闽主持福建的政局。孙中山这时正在考虑下一步如何改组国民党的问题，命令廖仲恺代表自己赴闽慰劳北伐军，同时又让廖仲恺带去自己的命令，将北伐军改编为东路讨贼军，任命许崇智为讨贼军的总司令兼第二军军长，任命蒋介石为许崇智的参谋长，任命黄大伟为第一军军长，任命李福林为第三军军长，让他们分别带着自己的部队从福建南部取道进攻潮汕，直捣陈炯明的老巢。又成立了香港办事处，任命邹鲁为驻香港特派员，联络在广西的滇、桂各军，组织滇、桂、粤军四路联合起来讨贼。孙中山还给了邹鲁一个特殊的任务，就是在适当的时候策反驻扎在广州的粤军，孙中山对邹鲁说：
“陈炯明以为他现在占领了广州就取得了一切，他自认为最靠得住的粤军都是向着他的，我看不见得，粤军是一支革命性很强的队伍，粤军中的大部分将士是我党的好同志，他陈炯明欺骗得了一时，欺骗不了永远，给你邹鲁这一特殊的任务，你要认识到这个任务的重要性，并努力去实施它。”
福州克复以后，一时间成了革命的军事政治中心，各方面都对讨贼军寄予厚望，国民党的党政军的要人不断前往视察和指挥。为了支援讨贼军的行动，海外的华侨还捐资购置了几架飞机，送给讨贼军，作为在福州建立空军基地的基础。
东路讨贼军一路势如破竹，洪兆麟在福建境内惨遭失败的军情很快便传到了广州，陈炯明一颗本来就悬着的心这时更是提到了嗓子眼上。不久，又传来了滇军和桂军占领了梧州，熊略抵挡不住，已经退到肇庆的消息。陈炯明这回真好比是热锅上的蚂蚁，他火速给叶举发出命令，要他速来总司令部接受命令，开赴福州前线去支援洪兆麟和李厚基，挡住北伐军东进的迅猛势头。陈炯明还给叶举打气说：“你赶快领着全部精锐部队去福建，我立即通知云南的唐继尧和赵恒惕，让他们从云南攻打北伐军的屁股，前后接应，粉碎北伐军的进攻。”
叶举接受了陈炯明的命令，带领着他所属的三个师出发了。叶举走了以后，陈炯明想来想去还觉得放心不下，便又叫来秘书陈鹤年，让陈鹤年秘密地到北京去一趟，向吴佩孚报告广东的局势，请求吴佩孚在北方同时对北伐军发动进攻，以牵制北伐军的军事行动。
在云南，北伐军同样开始了声势浩大的讨贼行动，受孙中山任命的中央直辖军总司令杨希闵、中央直辖桂军第一路军总司令沈鸿英、中央直辖桂军第二路军总司令刘震寰和驻扎在梧州、肇庆的的粤军，接到孙中山策应福州讨贼军的行动命令后，各自派出军事代表在广西藤县的白马庙会商，通过了讨伐陈炯明的军事计划，这就是民国革命史上有名的“白马会盟”。这是一次重要的事件，这次会盟，划定了各军的进军路线，分配了各军的战斗任务，各路军分头行动，很快便打退了陈炯明叛军的抵抗，取得了讨伐陈炯明战斗的关键性的胜利。