夜里11点左右，国民军开始行动。先头部队开达东四三条胡同东口南小街时，发现路口已有机枪布防，便停止前进，等待命令。双方对峙达3小时。
4月10日，国民军将领鹿钟麟等人联名通电，宣布段祺瑞之罪状。同一天，北京警卫司令部也，发出布告，宣布段祺瑞“祸国殃民”，本军“已采用严正办法，严行制止”。国民军还通过曹锟发出致吴佩孚的电报，望其与国民军合作对付奉系。
段皖是不会轻易退下台去的。4月11日早晨，段悄然遁入东交民巷，住在桂乐第李思浩居所。此前，他还特地派人赴天津。发出执政府、国务院的通电指出：
“本月九日夜半，鹿钟麟率兵围困国务院，截断交通，意图危害”，“一切政务无由执行”，“在此扰乱期间，所有捏造事实，假借名义之文件，概属无效。”
国民军呼吁与吴佩孚合作共同对付奉系，但是吴佩孚却先要国民军全部缴械，继而应允保留张之江1个师，复命令张之江与鹿钟麟下野交出部队，进而给鹿钟麟电报称“恨不能食汝之肉，寝汝之皮”。而奉系惟恐吴佩孚收容国民军，也加紧进攻北京城。14日直鲁联军兵临城下。15日，国民军全部退出北京城，扼守南口。临行前，邀集北京各界人士王士珍、赵方巽、熊希龄、王宠惠、吴炳湘等人组成“京师临治安会”，维持北京治安，由吴炳湘接收警权。
这时，段以执政身份任命唐之道为北京警卫司令，并将卫队旅拨归他指挥。16日，段祺瑞离开东交民巷，返回吉兆胡同，宣告复职，正式免去鹿钟麟的北京警卫司令之职，由唐之道继任。同时，他给张作霖、吴佩孚、阎锡山、孙传芳等人发出电报，不惜纡贵屈尊，降低自己北洋元老、军校师长的身份，曲意奉承上述诸人，幻想各派还会公推他继续执政。为此，他指使唐之道与吴佩孚、张作霖进行联络；同时派皖军骨干曾毓隽到天津，找到吴光新，并联络张学良。
4月18日，吴佩孚复电唐之道，告知已任命王怀庆为京师警备总司令，并要唐之道师听其调遣。电报强调“望速将安福党人拘捕，并监视段氏”。照理，直皖战争后，曹锟、吴佩孚对段并未予以追究；二次直奉战争后期，段对吴也曾网开一面，尚属相当。何以此时吴佩孚对段祺瑞竟持如此严厉无情的态度呢？原来，吴佩孚于二次直奉战争后，退往湖北。鄂督萧耀南虽属直系，但在段皖压力之下，不敢收容吴。吴只得率决川、濬蜀两艘军舰漂泊于黄州的江面上。1925年春，段密令海军派舰偷袭黄州，打算捕获吴佩孚。前海军总司令杜锡珪偶从部下口中得悉此事，急电吴佩孚。3月2日，吴乘风雨大作之机，连夜率舰逃走，得以免做楚囚。这就种下了吴佩孚此时要令段祺瑞难堪的根子。
唐之道收到吴佩孚电报，无奈之下，只得将电文交给段祺瑞，请他自己“善处”。但此时段仍不死心，犹寄希望于奉系。然而，第二天收到的张作霖复电，语虽平和，却已明确表示不再可能拥段，曾毓隽、吴光新也自天津返回，报告说：“张学良表示奉天对维持现在政权没有信心，只能保护段执政安全离开北京。”至此，段祺瑞才确信恋栈不成，非走不可了。
一场冲突侥幸避免了，但皖系执政府危机却无法克服。段祺瑞见大势已去，即于1926年4月20日通电下野。
4月20日上午，段祺瑞匆匆发布命令，同意国务总理贾德耀、国务院秘书长邓汉祥、财政总长贺得霖、交通总长龚心湛等人的辞职，同时又在外交总长胡惟德不知情的情况下，特任其兼署国务总理，摄行临时执政职权。当天下午2时，在直鲁联军两个营士兵的护送下，段祺瑞率其子段宏业及亲信曾毓隽、梁鸿志、姚震、姚国桢、许世英、汤漪、龚心湛、曲同丰、吴光新等人，乘坐张学良调派的一列专车，驶离北京，前往天津。
段祺瑞到天津后，就通电全国：“决定引退。”至此，临时执政府存在了17个月后，终于在四面楚歌声中，颓然垮台。
段祺瑞在直皖战争中，仍留任北京，但这一次为何仓促逃往天津呢？其中主要原因是，由于“三·一八”惨案，段十分害怕学生们找他麻烦。在北洋军阀统治期间，段祺瑞及其皖系、皖军出尽了“风头”，也吃够了苦头。当执政府时代结束后，他在民国舞台上的表演也终于画上了句号。
段祺瑞下野后，回到天津。他自称为“正道居士”，每日吃斋念佛，十分虔诚。可这并没有让他真正看破红尘。他一直在等着皖系的幕僚们再创造机会，请他出山。可时局变幻始终未能如愿。段不甘心，想到了溥仪，想与他“合作再起”。可溥仪一想到当年的通电“逼宫”，又怎会与他合作。1928年，又是段的多事之年。他本想策划发起“和平运动”，呼吁南北停战，目的在于阻止国民党北伐。他本以为如果南北真停战，到时出面调解的合适人选非他莫属，便又可出山。他的呼吁却未获理睬。段又想请日本人干涉北伐，保护他在北京成立临时政府，替代张作霖。可日本人的回答是“我国政府认为，此事断然不行！”这促使段心灰意冷，对出山不再抱什么希望。
“九·一八”事变后，日本人嫌一个“满洲国”不够了。又想成立一个“华北国”，段祺瑞又成了目标。正在这时，国民党为他发来电函，提醒他莫做“汉奸”。面对这份提醒，段愤愤地想：“我反对日本人分裂东北，反对成立伪满洲国，反对就地停火，我当然不是汉奸！但决不能被日本人利用，宁可永不出山，也不能成为日本人手中的溥仪！”下定决心后，段感到一种从没有过的愉悦和解脱。
1933年1月23日，南京各报均刊载了一条大字新闻，“蒋委员长亲迎段祺瑞”的新闻。新闻刊出后，立时引起全国性的反响。中国第一号人物为什么亲自出马迎接在野元老段祺瑞？久已赋闲津埠的段祺瑞为什么突然在此时南下金陵城？原来“九·一八”事变之后，南京国民政府对于日本在天津拉拢段祺瑞和溥仪的活动采取了一系列措施。当1931年11月2日土肥原在天津会见了溥仪。3天后，蒋介石的代表高友唐就到了津埠，其任务是游说末代皇帝南下或出国居住。溥仪《我的前半生》一书中有这样一段记载，高友唐说：
“国民党政府给他来了电报，叫他告诉我，国民政府愿意恢复优待条件，每年照付优待费，或者一次付给我一笔整数也可以，请我提出数目；至于住的地方，希望我选择上海，我如果要出洋，或者要到除了东北和日本以外的任何地方，都可以。”
高友唐怕溥仪不信任南京国民政府的许诺，又以遗老的身份(前清仕学馆出生)，告知溥仪说：“优待条件恢复了，当然也得恢复帝号，假使想回北京去，也可以商量。”但是，日蒋两方所承诺的条件，孰优孰劣，这在溥仪的天平上是非常清楚的。《我的前半生》一书写道：“他(指蒋介石)给了我一个帝号，又哪能比得上土肥原答应的帝位呢？他能给我的款子，又怎么比得上整个东北呢？蒋介石再对我好，他能把江山让给我吗？”因此，溥仪把高友唐打发走后，没几天就追随日本军方偷渡到东北去了，充当了日本帝国主义的傀儡皇帝。
1932年3月9日，伪满洲国成立后，日本企图以“特殊化”为名控制整个华北地区，妄图建立一个“华北国”。日方活动对象第一个还是段祺瑞。1933年1月，日本在华北地区建立伪组织的风声越来越紧。
在此期间，南京国民政府为了稳住段皖不为日方所引诱，曾特别邀请段、吴二人参加在洛阳召开的“国难会议”，聘请他俩担任“国难会议”议员。但是，段祺瑞与吴佩孚都未应邀前往。
这一动向引起了南京政府的不安。蒋介石本来多疑。段祺瑞下野后，蒋介石认为，由于他过去的地位，他在北洋军人中仍有很大的号召力。因此对段祺瑞极力进行笼络。早在北伐胜利后不久，蒋介石就授意国民党皖籍要员吴忠信，并通过他的引见，在北京饭店和段祺瑞的侄子段宏纲见面。段宏纲曾经回忆说：
蒋对我说：“我亦保定陆军学堂学生，段先生是我的老师。我因公务繁忙，不能前往天津看望先生。”会见后，蒋介石派吴忠信去天津见伯父，并送去2万元生活费。以后三四年也陆续送过巨款。这充分反映了当时南京国民政府对段祺瑞政治态度的重视程度。南京国民政府还接受了高友唐游说溥仪失败的教训，通过新闻媒体展开舆论攻势。1933年初，上海《申报》曾登过这样一条消息：
“前临时执政段祺瑞，自十五年(1926年)卸政后，隐居津门专心念佛。‘九·一八’国难发生后，某国方面为达到某种阴谋，乃派遣浪人多名，向段游说，以‘三造共和’等甘言诱骗段氏。山海关事件发生后，浪人益形活动，以种种权利诱惑段氏。闻段氏主张，日方先取消傀儡组织，恢复“九·一八”以前状态，始可向中央商谈。而一般无耻汉奸甘为亡国奴，受某国指使而奔走者，亦大有人在。”
这是颇耐人寻味的一则报道，披露了“九·一八”事变后段与日方秘密往来的动向，隐含警告之意，决不允许段祺瑞充当第二个溥仪！但又网开一面说明，段祺瑞与其他汉奸是有区别的。与此同时，南京方面又调动社会各界上层人士的力量，对段进行争取工作。首先由上海市商会主席王晓籁致电段祺瑞，电报指出：日本用“以华灭华之计，……冀不血刃而全国入其掌握。试之于东三省而效，今又闻将试之于华北矣。”电文强调，日本要达到这个目的，必将收买一批汉奸以资利用。而“公资望历史”远远超过那些已被收买的人，“日人决不忘情于公，卑辞厚币，暮夜进说，实意中事”。王晓籁又以古代忠贞之臣为例，希望段祺瑞“以颜常山(果卿)、文信国(天祥)之正气对付彼辈，使阴谋消沮，并戒旧部勿为利用”。电文最后呼吁段祺瑞立即发表宣言，“俾定民志”。此刻的段祺瑞心情十分复杂。他在两次被日方拉拢而又冷落后，自知无论是日方或南京方面对自己都抱有疑虑。因此到必须当机立断的时刻了。所以当他接到沪上来电后，立即回电王晓籁，表示自己，“痛心国难，辱以正气相勖，自念以身许国，不后于人”的态度。
上海方面与段祺瑞互通电报后，以杜月笙为首的上海地方协会，在国民政府授意下，派出名流代表团北上。代表团团长为朱庆澜，主要成员有黄炎培(代表上海地方协会)、王晓籁、李组绅(代表上海商业界)、穆藕初(代表上海工业界)、许克成(代表南洋华侨)。代表团拟在抵达平津后分别拜访段祺瑞、吴佩孚，敦促他们早日南下，免得被日本军阀所利用。
困处愁城的段祺瑞得知沪上各界代表来意后，显露出犹豫不决的态度。