然而事情大出段祺瑞意料。首先，张作霖根本不是严守中立；其次，虽然前线皖军初战告捷，但不久西路皖军又全线溃败，段祺瑞失败已成定局。
7月19日，段公馆一片愁云，左右随从力劝段祺瑞离开北京，段祺瑞却暴跳如雷，喊道：
“要走你们走！我不走，我倒要看看他们能把我怎么样！”曹锟、吴佩孚自然不敢把他怎么样，相反地，曹锟和张作霖还派人去段府慰问，吴佩孚也亲自登门，口口声声以“老帅”相称。
清贫的家风
段祺瑞下野后，住在日租界魏宗翰的公馆。段祺瑞生性不爱财，因而也没有什么家底，连合肥老家也无房产和地产，北京的公馆还是当年袁世凯赠送给他的。
段祺瑞家规很严，夫人和姨太大都不准干预公事。有一位姨太太想替一个老妈子的亲戚谋个差使，段祺瑞立即气歪了鼻子，厉声喝道：“好啊！你们要卖官怎么着？”合肥老家的人来京谋差使，他也不过招待他们住一段日子，四处玩，再给一些钱打发他们回去，胞弟段祺甫来京求大哥给找个官做，段祺瑞说：“你哪适合做官呢？给你一些钱，你还是回去做份买卖吧。”
为了节省开支，段祺瑞一改从不管家的习惯，亲自过目每日的账目。公馆规模也缩小了，厨房里只剩八九个人，当差打杂的加上看门的，不过十来个人，原来太太小姐们每人屋里三四个老妈子也压缩到一两个。
原配夫人过世后，段祺瑞娶了袁世凯的养女张氏为继妻，此外，他还有五位姨太太。大姨太病死于1914年，三姨太、四姨太先后被遣回家。
1930年2月，冯玉祥和阎锡山联合反蒋，日本人认为有机可乘，密谋策动“北洋派大同盟”，推戴段祺瑞和吴佩孚为领袖，试图在华北制造混乱。在特务头子土匪原贤二的安排下，段祺瑞与溥仪在天津有过一次秘密会晤，但两人都很不愉快。事后有人问及，段祺瑞生气地说：“鄙人忝为国家元首，这小子到今天还摆皇帝的臭架子，真是岂有此理！”
“九？一八”之后，日本扶持废帝溥仪在东北建立了伪满洲国，又企图利用段祺瑞的威望和影响，建立华北伪政权。这一动向引起了蒋介石的不安。
自从北伐胜利后，蒋介石就极力笼络段祺瑞。蒋介石还安排与段宏纳会晤，亲切地对段宏纳说：“我也是保定陆军学堂学生，段先生是我的老师。我因公务繁忙，不能前往天津看望先生。”事后，蒋介石还派人送了2万元生活费给段祺瑞，以后又陆续送过几次。
1933年1月19日，交通银行董事长钱永铭受蒋介石委托持蒋介石亲笔信去见段祺瑞。蒋介石在信中恳请段祺瑞“南下颐养”，以便随时请教。这时传来日本要劫持段祺瑞的消息，段祺瑞于是决定接受蒋介石的南下邀请，他对钱永铭说：“我已老不中用了，如介石认为我南下于国事有益，我可以随时就道。”
1月21日凌晨，段祺瑞在吴光新、魏宗瀚、段宏纳的陪同下悄悄离开了天津。蒋介石对段祺瑞的到来十分重视，通令南京少将以上的军人过江到浦口车站迎接，他本人也亲往下关码头恭候。段祺瑞到达时，全副戎装的蒋介石立即迎上前敬礼，然后搀扶他下船。当晚，蒋介石设宴招待段祺瑞，南京的军政要员也都出席作陪。
1月23日，段祺瑞在蒋介石、何应钦、孙科的陪同下，拜谒了中山陵，然后乘快车去了上海。
到了上海，段祺瑞住在法租界霞飞路1487号的一座公馆里，由蒋介石每月赠送1万元供作生活之用。段祺瑞在公寓居住期间每日下一局围棋，然后静坐诵经或阅读旧书。
1934年春，段祺瑞由于胃溃疡引起胃部出血住院治疗。出院之后，由于年事已高，身体日益衰弱，医生和友人都劝他开荤以增加营养，但他执意不肯，回答说：“人可死，荤不可开。”
1936年11月1日，段祺瑞因胃病又一次发作，出血不止，于次日晚在上海的医院去世，时年72岁。11月5日举行大殓，林森、居正、于右任、吴忠信、张治中均亲临吊唁。12月7日，移灵北京，暂厝西山卧佛寺后殿。1963年后移葬于香山附近万安公墓。
与妻妾的故事
段祺瑞的原配吴夫人，是江苏宿迁县人。吴夫人去世较早，生前有一儿一女。吴夫人的弟弟吴光新从日本士官学校毕业，很受段祺瑞赏识。
1885年，21岁的段祺瑞以优异的成绩考入李鸿章兴办的武备学堂，也称北洋武备学堂。段祺瑞专攻炮科，同时兼修兵法地理、军器、算法、测绘等课程。正是在这所北洋陆军学堂里，段祺瑞崭露头角，开始声名显赫。1887年，段祺瑞以“最优等”的成绩毕业，奉命赴旅顺监修炮台。这期间，他赶至合肥老家迎娶他在宿迁结识的未婚妻吴氏，并于次年生下长子宏业。
段祺瑞的原配吴夫人病逝后，袁世凯为更好地驾驭“北洋之虎”，即以美人为诱饵，把他的干女儿、前清江西巡抚张芾的孙女嫁给了段祺瑞。
张夫人名叫张佩蘅，原籍陕西，也是官宦之家，和袁世凯是世交。袁世凯的大太太于夫人只生袁克定一个儿子，没有闺女，就把张佩蘅认作义女。张佩蘅见着袁世凯夫妇，一口一个爸爸、妈妈，非常亲热。
段祺瑞断弦以后，便由袁世凯主婚，把张佩蘅嫁给了段祺瑞，从此袁、段二人除了多年袍泽关系之外，无形中又成了亲戚。这和袁世凯给冯国璋撮合婚姻一样，都是他笼络部属的惯用手法。当时张佩蘅经常到总统府里去。那时袁世凯在怀仁堂，于夫人住在福光居，尽管当时总统府门禁森严，可是张佩蘅一打电话，就可以坐着马车从新华门进去，畅行无阻。
张佩蘅嫁给段祺瑞的时候，父亲已经不在了，只有一个老母亲也跟着进了段公馆，一块过活。张夫人姿色平常，人却挺正派，脾气也很好，操持家务，井井有条，遇事处理公平，因此公馆里上上下下，对她还都心悦诚服。过门以后，张佩蘅生了四个女儿，没有儿子。不过这位张夫人有一个毛病——抽大烟。她经常与其母两个人躺在烟床上，对着烟打，吞云吐雾，还专门雇了一个姓刘的女工给她烧大烟。
袁世凯把张佩蘅嫁给段祺瑞后，袁段之间的关系便更加亲密了。从此，段祺瑞犹如袁世凯的亲生儿子，不仅惟命是听，从不违忤，而且一举一动都学袁世凯，几乎“袁化”了。他仿效袁世凯的样子，常常闭目养神，一旦睁眼，又使人感到炯炯有神，咄咄逼人，威严得很。段祺瑞甚至连穿衣服也模仿袁世凯，常戴一顶黑色方顶小帽，像个小尼姑似的，不男不女，让人觉得怪癖得很。
段祺瑞纳了5妾，大妾陈氏，1914年就死了，她留下了一男，不过没有长大成人，就夭折了。这位姨太太死的时候，由陆军部庶务科经手办的白事，轰轰烈烈。庶务科长杨子明就因为这一丧事办得好，当上了山东济东道的道尹。二姨太太姓边，保定人，只生了一个闺女。三姨太太姓刘，人们背后称她为刘三，一胎生了两个儿子，小名十一、十二。十一死得早。四姨太太也姓刘，人们称她刘四。五姨太太姓李，人们就称李五。
刘三、刘四、李五，都是段祺瑞花几百块钱买来的，大概出身都不怎么样。大姨太的父亲陈亚泉，二姨太的哥哥边绍卿，都在陆军部里挂了个名义上的咨议，不用上班，每月可以收入120块大洋。这使得段公馆里人看着不平，说：“当年的旧部下，前来报效的，申请多少次，碰上运气好的，才在陆军部里批个差遣名义，一个月拿个三十四十的。这都是当年出生入死，有汗马功劳的人，不过如此。这些姨太太的亲戚们，膀不动，肩不摇的，一个月倒是白花花的一百多块！”
段氏后人
段祺瑞兄弟三人。段祺瑞居长，老二段碧清(启辅)即段宏纲之父，老三段子猷(启勋)(曾经做过井陉煤矿的总办等事)。段祺瑞有一个妹妹启英，嫁给陈家，丈夫不幸早亡，她便回到段祺瑞家来生活。她有三个儿子，其中一位曾当过旅长。
段祺瑞的原配夫人吴氏，即吴光新的姐姐，生了一儿一女，年仅三十三岁就病故了。1901年，段祺瑞续娶了袁世凯的义女张佩蘅为夫人。此外，段还先后有过几位姨太太。
有关段祺瑞同辈人的家族成员情况，本书前面已经有所反映，下文介绍段祺瑞后代家族成员的一些情况。
段祺瑞的嫡出与庶出子女有五六个幼年夭折，长大成人的子女一般也过着平常的生活，和他们声名显赫的父亲形成强烈的反差。
(一)段宏业与段宏纲
段祺瑞对长子段宏业寄予了很大的希望，但是段宏业从小就不务正业，经常惹段祺瑞生气，段祺瑞觉得这个儿子太不争气，十分失望。