袁世凯称帝后，果然如段祺瑞预料的一样，局势一发不可收拾，众叛亲离。袁世凯本来对军事和外交一直充满信心。外交上，他原以为“二十一条”签署后，日本人会信守诺言支持帝制，结果却不然。日本见抗议帝制的声浪日益高涨，便开始新的投机，先后联合英、俄、法、意向袁世凯提出缓办帝制的五国劝告，又在暗中协助蔡锷、梁启超等反袁人士绕道日本进入云南。这对袁世凯的打击很严重。
军事上也是一团糟糕，北洋军昔日的威风荡然无存。这时后院又起火，冯国璋联络长江巡阅使张勋、江西将军李纯、山东将军靳云鹏、浙江将军朱瑞联名发出致各省将军的密电，征求撤销帝制的意见。“五将军密电”传到北京，袁世凯知大势已去，在四面楚歌声中，只得把段祺瑞请了回来。段祺瑞是反对帝制的，但他不反袁，他说：“要我公开反对袁项城，做不到；否则，人家要指我脊梁骨，骂我忘恩负义。”
在徐世昌的建议下，袁世凯准备请问段祺瑞，为了免碰钉子，袁事先让夫人于氏打电话到段公馆给张夫人，这是两家断绝来往后母女第一次通话，相对哽咽。于夫人便把意思告诉了张夫人，并叮嘱道：“不管咋说，总统病了，芝泉总得来看看吧。”
次日，袁世凯派人手持亲笔信函赴段公馆邀请段祺瑞，来人还带口信说，总统让转告总长，请看在多年的老交情上，务必前往一叙。段祺瑞不再推辞，到中南海拜晤袁世凯，袁世凯躺在病榻上，面色赤红，但说话正常。见到段祺瑞，袁表示自己后悔没有听段的话，以致今日内外交困，希望段念及小站的情分，出来稳定局面。段祺瑞看到袁世凯又老又病的样子，并且又认了错，于是慨然答应竭力相助。
3月20日，袁世凯召集徐世昌、段祺瑞、黎元洪三巨头开了一次紧急会议。看到谁也不肯先发言，袁世凯只好自己先说：“事至今日，帝制已不可为，只有取消了。取消帝制后，可以恢复从前的样子。”袁世凯的意思是想继续担任大总统，撤销帝制是最后的让步，在总统问题上绝不妥协。“芝泉，你说说吧？”
段祺瑞自见到了袁世凯，便开始考虑稳定时局的措施，这时不慌不忙地说出了几点，主要意思是首先取消帝制，宽容西南起事人员，采取和平姿态达到停战目的，其主张与袁世凯出山时向清廷提出的条件有惊人的相似处。袁世凯有些不快，然而说道：“芝泉的意见很好，但若南方欺人太甚，得寸进尺，那将怎么办？”
段祺瑞说现在不能一味用武，先退一步再说，事情总有解决的办法。看到段祺瑞表示取消帝制后，仍承认他的大总统地位，袁世凯稍稍放了心。
第二天，袁世凯又召集有关人员，讨论撤销帝制问题，并通过了关于取消帝制的电稿，送往印铸局，准备当天晚上通电全国。可是直到第二天，也没有见到通电。段祺瑞急了，连忙打电报询问，印铸局说电稿送来后不久又被袁世凯派人取回去了。段祺瑞吃惊不小，连忙会同徐世昌直奔中南海。
袁世凯面容平静，淡淡地说：“哦，是我叫人取回的。”停了一会，又解释道：“里头有几个字，我想改动一下，改好后就让人送回去。”段祺瑞和徐世昌都明白事情绝不会如此简单。
据说袁克定知道电稿后，对袁世凯说，西南方面不让你做皇帝，你便取消帝制，若不满你做总统，你怎么办？遂有袁世凯撤回电稿之举。然而撤回电稿之后又怎么办？
3月22日，袁世凯还是发表了撤销帝制的通电，宣布废除洪宪年号，83天的皇帝梦结束了。
这一天段祺瑞回到家里，张大人高兴地迎上来说：“老头子终于醒了。”段祺瑞脸上却露出了古怪的笑容。
3月24日，段祺瑞与徐世昌商议，以黎、徐、段三人的名义致电西南护国军首脑，表示“帝制取消，公等目的已达，务望先戢干戈，共图善后”之意，黎元洪也表示同意。但段祺瑞没有将电稿立即发出，而是想观望一下，暗中摸摸西南方面的底。可是，大出意料的是，3月28日，在他毫不知晓的情况下，电报竟然已经发了出去。
段祺瑞简直气歪了鼻子，他打电话给徐、黎二人，二人皆不知情，再打电话给总统府，才知道是袁世凯指示发出的。原来，袁见段迟迟不发这份电报，惟恐他态度有变，就指示把电稿发了。
段祺瑞觉得自己又被袁世凯愚弄了，怒气冲冲地说：“都到什么地步了，还要这么包打天下。好吧，你事事要管，那就让你一个人去管吧！”
4月1日，袁世凯亲拟了一份关于议和条件的电稿，派人送给段祺瑞征求意见，段祺瑞原封不动地将此退回，袁世凯又派人送来，段对来人说：“总统想怎么办就怎么办好了，不必来问我。”
北边袁、段出现新矛盾，南方却咄咄逼人，要求袁世凯退位。4月中旬，蔡锷、唐继尧等联名提出六项条件，这六项条件极其严厉：袁退位后贷其一死，但必须逐出国外；诛帝制祸首杨度等十三人以谢天下；大典筹备费用及用兵费六千万，应查袁氏及帝制祸首十三人的财产赔偿之；袁氏子孙三世应剥夺公民权；依照民国约法，推举黎元洪副总统继任大总统；除国务外，文武官吏照旧供职，但关于军队驻地，要接受扩军都督的指令。
南方要袁世凯退位，袁却死抱着总统不放。段祺瑞撒手不管，北洋将领或主和或主战，徐世昌这个不满一个月的国务卿觉得夹在中间白白受气，提出辞职。徐世昌辞职了，谁来接替他呢？
袁世凯想到的还是段祺瑞，段祺瑞在反对帝制时与西南方面保持默契，与蔡锷、梁启超等也有联系，交涉起来有利。退一步，若和谈不成动用武力，段也是最佳人选。对于袁世凯的提议，段祺瑞也毫不客气地提出一个先决条件：让他做国务卿可以，但必须实行责任内阁制，即由段祺瑞掌握实权。
内外交困，袁世凯束手无策，只得做出让步。4月21日，他下达了恢复责任内阁的电令。4月22日，段祺瑞就任国务卿，开始大刀阔斧地干起来。
首先，他撤政事堂改国务院，废国务卿改国务总理，接着又提出裁撤统率办事处、总统府机要局、军政执法处三机关，并收容模范团、拱卫军为陆军部。袁世凯得知后，气得浑身发抖，连连骂道：“段芝泉别有用心！别有用心！”
段祺瑞大权在握，主张和平解决，反对用兵，但西南方面却坚持和平解决的前提是袁世凯必须引退。段祺瑞也只好拖着日子，袁世凯疑心又起。这时，蔡锷、梁启超又愿推举段为摄政取代总统，袁世凯对段祺瑞更加猜疑，在许多事情上暗中掣肘，袁、段两人的冲突连连不断。
段祺瑞提出徐树铮任国务院秘书长，秘书长虽不是阁员，但却是总理的直接助手，比阁员还重要，袁世凯却主张由原政事堂机要局局长王式通担任。段祺瑞当然不愿身边多一个袁世凯的心腹，于是托王士珍向袁世凯说项。王士珍老奸巨猾，表面答应，其实根本不提，段祺瑞又让张国淦和袁世凯说，袁世凯以总理是军人，秘书长再弄个军人不合适为由推辞。张国淦无可奈何，回去见段祺瑞，段祺瑞勃然变色，鼻子立时向左歪斜。
段祺瑞的和平方案没有进展，袁世凯却怂恿徐、皖、鲁、奉、吉六将军公开电请武力解决，不惜一战，段祺瑞则坚决反对。袁世凯大怒道：“和又和不了，战又不想战，你到底想干什么？”
段祺瑞也毫不客气地回答：“如果总统坚持用兵，那我只有辞职。”
果真，段祺瑞立即递上辞呈。袁世凯又气又恨，索性撇开段祺瑞，亲自出面主持对西南的军事行动。然而此时的袁世凯已是心有余而力不足，坐镇江宁的冯国璋态度暧昧，四川将军陈宦、湖南将军汤芗茗通电独立。终于，58岁的袁世凯一病不起。
1916年6月5日，袁世凯病情陡然恶化。于夫人哭着告诉了张夫人，总统病危，急欲见段祺瑞一面。段祺瑞火速赶到怀仁堂。
听到段祺瑞来了，袁世凯睁开眼，微微点头示意。段祺瑞弯下腰，压低声音问道：“总统，有何吩咐？”
袁世凯半晌不做声，而后对段祺瑞说：“芝泉，今后一切都要靠你了。”
这是袁世凯对段祺瑞的临终嘱托，不知是希望段祺瑞照顾好袁家，还是主持大局，抑或两者兼而有之。次日上午，袁世凯病逝。
人之将死，其言也善。段祺瑞对袁家完全抛弃了以前的怨恨，对袁世凯进行了隆重的国葬，表现了对袁的极大忠诚。
段祺瑞通令全国下半旗致哀，停止娱乐一天，学校停课一天，文武官吏停止宴会27天，在财政几乎崩溃的情况下，拨银币5万元作为丧葬费，成立恭办丧礼处，内务总长王揖唐和周白齐等筹办大丧典礼，段祺瑞率各部总长轮流守灵，河南巡按使负责营建袁氏之墓，占地近140亩，工程持续两年才完成。
6月23日，段祺瑞以总理身份主持政府公祭，各国使节、文武大员尽数到场。灵车用的是当年运送慈禧太后棺柩的豪华胶轮车，并派近两个团护送，段祺瑞亲自扶枢送至前门车站。
1916年2月，段祺瑞和黎元洪因为对德问题再次产生尖锐的冲突，并导致了两人之间的彻底决裂。
1917年2月3日，美国宣布与德国绝交，段祺瑞和黎元洪一致赞成对德宣战。2月9日，内阁通过了对德国潜艇政策提出抗议的决定，这是中国对德国采取的第一个外交步骤。
3月3日，在段祺瑞的主持下，内阁会议又顺利地通过了对德绝交案。次日，段祺瑞率全体阁员到总统府请黎元洪在对德绝交咨文上盖印，黎元洪却一反以前赞同的态度，拒绝盖印。问题出在什么地方？
是帝国主义在背后捣鬼！
黎元洪走的是亲美路线，美国人对德绝交，他自然紧随其上，而段祺瑞是亲日派，美、日帝国主义都希望通过促使中国参战而取得在中国的霸权。于是美国一旦发现了中国参战对日本的好处远大于己，马上就改变主意，不再支持中国参战。
段祺瑞气势汹汹，黎元洪却以不变应万变，支支吾吾加以拖延。
“这么说，大总统是反对对德绝交了？”
“这个，我的意思是，此乃大事，需慎重考虑。再者，绝交是宣战之先声，如今各省军人大多反对参战。在做出决定之前，也应该统一军界的意见吧？”
黎元洪的话激起了段祺瑞心头的无名之火，他顶撞道：“军界的事，无须总统操心，大总统只要盖印即可，其余的事自有祺瑞应付。”
黎元洪则无论段祺瑞怎么说，仿佛泥菩萨一般，死活不吭声。
黎元洪不盖印，段祺瑞便使出杀手锏，撂下挑子乘专车出走天津。协约国公使纷纷表示关切，北洋军人也来凑热闹，要求挽留段祺瑞。黎元洪无计可施，叹口气说：“外交上的事就由段总理主持，只要国会通过，我将依法办理，绝不加以干涉。”
3月6日，段祺瑞在副总统冯国璋和众议院议长汤化龙的劝说下，回到北京。3月14口，北京政府宣布对德绝交。
绝交之后自然是宣战，段祺瑞担心的是军人的态度，急电各省督军进京商讨。各省督军原本有不少人反对宣战，他们害怕让他们派兵作战，损害自己的实力。段祺瑞明白他们的心思，明确告诉他们，宣战无须出兵，中国派遣劳工去欧洲即可。各省督军一听，心上的石头落了地，纷纷表示服从总理的意志。
4月25日，督军会议在京召开。各省督军和代表一致赞成段内阁外交政策，并在写有“赞成总理外交政策”的纸上签了名，给黎元洪施压。
5月1日，内阁举行会议，督军团居然要求参加。有人说军人干政，傅良佐却辩解道：“军人也是国民的一员，对国事发表意见，怎能说是干政？大总统这么害怕军人的意见，难道是心中有鬼不成？”
参加内阁会议的阁员可怜只有三人：海军总长程璧光、司法总长张耀曾、农商总长谷钟秀，军人倒有一大班，于是宣战案顺利通过。段祺瑞趁热打铁，利用督军团使国会和总统屈服。黎元洪这里顺利通过了，但国会却出了问题。
本来国会通过宣战案问题并不大，汤化龙、梁启超早就在议员中活动支持段祺瑞，但是傅良佐却帮了倒忙。
5月8日，段祺瑞到国会解释对德政策并接受质询，他矢口否认中国参战背后有着中日幕后交易，声称宣战是本着正义的需要。当两院即将讨论提案的时候，各地人民团体纷纷来电支持宣战，北京城中也出现一些“自发”的群众的代表强烈要求对德宣战，段祺瑞闻之十分满意，殊不知这是傅良佐背着他搞的把戏，一些外地人民团体的电报实际上都是傅良佐派人从北京电报局发出的。
5月10日下午，成群的“自发公民”包围了众议院大楼，他们或摇旗呐喊，或散发“请愿书”，有的甚至闯进议长办公室，要求汤化龙允许公民代表列席讨论。“公民团”的行径引起子众议员的义愤，大家集体罢会，以示抗议，并准备离开会场，于是一场骚乱发生了。
傅良佐急于求成，结果弄巧成拙，反而使段祺瑞的宣战案中途告吹，内阁总长纷纷辞职，只剩下一个光杆总理了。
段祺瑞决定坚持下去，他一面酝酿新的阁员，一面授意滞京的部分督军和代表们，继续对国会施压，企图重开议会通过宣战案。
然而，一个毁灭性的新闻给段祺瑞致命的打击，英文《京报》披露中日秘密签订了一亿元的军事借款。段祺瑞在国会所作关于中日之间绝无秘密外交的证词完全是一个谎言！
令人意外的是，一向软弱可欺的黎元洪突然挺直了腰杆，下令免去了段祺瑞国务总理和陆军总长的职务。5月23日，张国淦听说黎元洪要免段，刚想开口劝说，站在一边的金水炎冲了过去，拔出手枪对准张国淦：“不许开口！开口我就打死你！”
段祺瑞气得鼻子又歪了，他的鼻子惟有盛怒的时候才会歪，这种情况少得很，而像这次鼻子居然向左边歪了二指多则更是少之又少，不但是空前，或许也是绝后的了。
黎元洪的强硬是因为他意外地得到一位实力派人物的支持，这位实力派人物就是大名鼎鼎的定武上将军、长江巡阅使，号称十三省大盟主的辫子大帅张勋。张大帅明确向黎总统表示，随时准备奉召入京，维护治安，黎元洪得此许诺，腰杆顿时硬了，信心大增，觉得可以借此与段祺瑞斗法，于是出现了上一幕。
段祺瑞没想到黎元洪敢免他的职，怒气冲冲地离开北京去天津，并发表通电表示不承认黎元洪的免职令。一时间，倪嗣冲、陈树藩、张作霖、赵倜、曹锟等各省督军纷纷通电响应，指责黎元洪是个“奸人”，甚至要誓师北伐。
北京局势动荡不安，各国使节纷纷表示“忧虑”，新任命的国务总理李经羲不敢到京上任。黎元洪如坐针毡，无奈之下，急电调张勋入京。
1917年6月7日，张勋率6000辫子军向北京进发。在民初军界中，张勋是一大怪物，民国六年了，他依然垂着一条辫子，并且声称：“谁敢碰一碰我的辫子，我就和他同归于尽。”自然，他的定武军也是名副其实的“辫子军”了。张勋一向目空一切，以前辈自居，不将段祺瑞和冯国璋放在眼里，这次支持黎元洪，自然有他的小九九。