上海代表团获悉段犹豫不决的态度后，兼程赶到天津。鉴于曹汝霖对段的影响极大这一特点，上海商界代表李组绅先行拜访曹汝霖以求疏通。果然，曹向李说了一通没有必要立即南下的理由。他认为，目前时局未必严重到非走不可的程度，而且，在租界里一时也不会有什么事。对曹氏的这番言论，李组绅进行了驳斥，表示反对。他指出，日本关东军炮轰沈阳北大营，有谁得到了信号？至于日租界，在中国内战期间，对界内中国人也许还能起一点作用。如今段祺瑞面对的是不讲信用的日本军阀，有谁能挡得住他的胡来？李组绅还指出，以段之倔强性格，于垂暮之年，落入日本军阀的陷阱，纵使他一死以明志，也是徒然的牺牲。最后李组绅告诫到：如段祺瑞跟溥仪一样，在华北搞什么傀儡政权。到那时，别人尚可辩白；惟独曹汝霖将会百喙莫辩！李组绅的言外之意是说，假如段祺瑞成为第二个溥仪，那么素有亲日派称号的曹汝霖，就成为日段之间牵线搭桥的罪魁祸首，就是地地道道的汉奸卖国贼。李组绅的这些话，动摇了曹汝霖。至此，曹汝霖不得不承认李组绅言之有理，但强调说：南京政府应表明态度才是。对此1月19日，交通银行董事长，钱永铭受蒋介石所托，搭乘迎段专车抵达天津。他带来了蒋介石欢迎段氏南下的亲笔信函，并亲自面呈段祺瑞。在信中，蒋介石恳请段祺瑞“南下颐养”，并表示待其南下之后“俾得随时就商国事”。就在这期间传来一个消息，说是日本很可能要采取对付溥仪的办法来劫持段祺瑞。在这种情况下，段祺瑞南下决心终于敲定，决心接受蒋介石的邀请。他对钱永铭说：“我已老不中用了。如介石认为我南下于国事有益，我可以随时就道。”
1月21日凌晨，南下的津浦特快列车加挂了一节专厢。段祺瑞由吴光新、魏宗瀚、段宏纲陪同，在夜色中登上火车。在津的朝野知名人士皆来送行，其中有曹汝霖、王揖唐等人。随段南下的有前陆军总长、段之内弟吴光新，段之侄儿段宏纲，前第九师师长魏宗潮等人。当时张学良在北平，他得知段祺瑞要南下的消息后，特电令于学忠于段离津时“妥为照料”。
当火车经过济南时，段回答了记者的问题。他说：
“此次赴京，系因蒋先生屡想北来会晤未果，近又派钱君到津欢迎，表示国难当头，国家事要与国家元老商量，余故不能不去。余对国家意见，因尚未到京，不便发表。关于抵抗御侮，物质固关重要，但民意民气关系万重。宣传唤起，新闻记者责任至重，望诸君努力。”
22日上午8点正，段祺瑞所乘专车抵达南京浦口。当时国民政府组织了一个盛大的欢迎队伍，军政要员多人从南京过江到浦口车站迎接。段祺瑞下了火车就登上早就准备好的“澄平号”渡轮。渡轮靠岸后，早就等候于此的蒋介石率先登船，拜见段。两人见面，彼此寒暄了一阵后，段祺瑞对蒋介石表示即日要到中山陵谒陵。蒋介石说：“老师不累吗？”段祺瑞说：“不累，不累。”蒋介石称段祺瑞老师是因为他曾就读保定北洋陆军速成学堂，段曾为该学堂总办。下船后，段祺瑞由蒋介石亲自送到位于中山东路的下榻处励志社。
段祺瑞在南京停留不过两天一夜时间。其间，他“在蒋介石的陪同下，由大队人马护卫来到中山陵。在陵园途中，蒋介石手扶段祺瑞，随走随谈。蒋介石执弟子之礼甚恭，段祺瑞当时神态颇怡然自得。当晚蒋介石在励志社设宴招待段祺瑞，在未开宴之前，段、蒋二人曾密谈一个多小时，但内容却不得而知”。段祺瑞在南京还曾以书面形式回答记者的采访，表示：“当此共赴国难之际，政府既有整个御侮方针和办法，无论朝与野，皆应一致起为后援。瑞虽衰年，亦当勉从国人之后。”
段祺瑞不愿留在南京，正好他住在上海的小女儿段式荃有病，他就以探病为由谢绝了蒋介石留他住南京的建议，前往上海。1月24日，段祺瑞抵达上海，初下榻福开森路世界学社，后因安全、方便考虑，移居国民政府军事参议院院长陈调元位于霞飞路的公馆。为安排段的生活，“蒋介石指定军政部总务厅每月拨出40000元，其中一部分为段祺瑞左右人员生活上的安排，每人每月分摊到数百元或数千元不等。”
段祺瑞在上海的生活仍以研究佛法为主要内容，他以正道居士之名常参与上海佛教居士王一亭、屈映光等人组织的菩提精舍的活动。其间，段祺瑞曾在1933年应蒋介石的邀请，带着吴光新到江西庐山避暑。段祺瑞“在庐山休息月余，和蒋介石做了几次晤谈”。他从庐山回来以后，就再也没有离开过上海，直到1936年病逝沪寓为止。
段祺瑞是因为肠胃疾病，医治无效，于1936年11月2日逝于上海的，享年72岁。临终前，他亲笔写就遗嘱，交付从天津赶来的儿子段宏业。遗嘱里这样写道：
“余年已七十余，一朝怛化，揆诸生寄死归之理，一切无所萦怀，惟我瞻四方，蹙国万里，民穷财尽，实所痛心。生平不为多言，往日徙薪曲突之谋，国人或不尽省记，今则本识途之验，为将死之鸟，愿国人静听而力行焉。则余虽死犹生，九泉瞑目矣。国虽危弱，必有复兴之望。复兴之道，亦至简单。勿因我见而轻启政争，勿空谈而不顾实践，勿兴不急之务而滥用民财，勿信过激之说而自摇邦本；讲外交者勿忘巩固国防，司教育者勿忘宝(保)存国粹，治家者勿弃固有之礼教，求学者勿骛时尚之纷华。本此入(八)勿，以应万有。所谓自力更生者在此，转弱为强者在此矣。余生平不事生产，后人宜体我乐道安贫之意，丧葬力崇节俭，敛以居土服，无以荤腥馈祭。此嘱。”
所谓人之将死，其言也善。段祺瑞以自己多年从政经验，向国民党政权提出了以“八勿”为核心的复兴之道，用心良苦。11月5日，“政府令予举行国葬。”国民党政府给予段祺瑞的评价重在其“三造共和”上：“辛亥倡率各军，赞助共和。功在民国。乃袁氏僭号，洁身引退，力维正义，节概凛然。嗣值复辟变作，誓师马厂，迅揭逆氛，率能重奠邦基，巩固政体……”
段祺瑞去世消息传出，各方吊唁纷至沓来，既有北洋故人的，也有南京政府的，各国驻沪领事也前往吊唁。关于安葬问题，蒋介石有意将其葬在南方；但段宏业表示，段祺瑞生前曾说其一生功业，多在北京，百年之后愿归葬京郊西山。于是，段祺瑞的灵柩便在12月5日公祭之后运往北京。时任冀察政务委员会主席的宋哲元特派门致中等人南下迎灵。
12月10日，灵车抵达天津。天津市市长张自忠主持公祭，曹汝霖、李思浩、陆宗舆、王揖唐以及齐燮元、何丰林等北洋旧人参加了祭奠。翌日，车达北京。“宋哲元、秦德纯等华北政权的要人，以及老段生前的亲戚、门生、旧部，也纷纷到东车站接灵。当时吴佩孚在四川、西北过了一段流亡生活后已经回到北京，住在什锦花园。……这一天也亲自到车站来迎接他这位老师的灵柩。”
灵柩到站以后，先抬到西直门旁边的广通寺里停放，迎灵的人分批前去上祭。第二天早晨灵柩运到西山卧佛寺暂厝。段宏业在八宝山等处找坟地，看风水、测地理，一直没选好一块合适的茔地。
1937年，卢沟桥事变发生，日本军进占华北，北京成了敌伪在华北统治的中心。敌伪各种机关、文武官员大批入京，一方面大兴土木，一方面大量征用原有的王公府第大小公馆。段祺瑞的南门仓公馆也被日本人看中，因为段生前和日本人的关系，日方出了40万元将房产买了下来。
对历史学家来说，最为可惜的事是，当日本人催促段家人腾房，段宏业派儿子大旺(段昌世)指挥仆役们将宅内多年集存的文件、信函、文集、佛经乃至家谱都付之一炬，一些很宝贵的第一手文史资料便在此劫难中化为灰烬。这是研究段祺瑞以及中国近代史的后人的巨大损失。公馆里的文件、书籍烧完以后，各种木器家具、古董玩物随之也被贱卖一空。
然而，日本人进入北京之后，不仅没有放过段祺瑞的公馆，而且也没有放过他死后停灵的所在。卧佛寺也被日本人征用了，催着段家把段祺瑞的灵柩移出去。段宏业找了那么久都没找到一块满意的风水地，这急切中更是抓瞎。幸亏段祺瑞三弟段子猷的儿子，曾给段子猷在西郊置了一块坟地，于是段祺瑞的灵柩匆匆忙忙从卧佛寺中起出，移到段子猷茔地南面，就靠着大道边埋葬了下去。段祺瑞生前好友不禁感叹地说：“没想到老头子轰轰烈烈一辈子，死后会没有一块葬身的地方。”
段祺瑞作为北洋皖系首领是仅次于袁世凯的副魁，一生中四任阁揆，一摄执政，对民初政坛影响甚巨，同时，他也是个争议颇大的人物。
段祺瑞是军人出身，但没有打过什么仗，然而他对中国军队的近代化进程是作出了一定贡献的：他在北洋建军中，督练北洋新军；主持各类军事学堂；厘定编译各种练兵章制、操法兵书，应该肯定他这三方面活动的作用和其在北洋建军史上的地位。当然，“如就主要因军队的私有化所造成的民初政治的动荡和社会的阢陧不安而言，段祺瑞也难辞其咎。”
段祺瑞是以一个政治家的身份活跃在中国近代史上的。笔者倾向于承认这种观点：段祺瑞在清末民初主张共和、反对帝制以及不参与洪宪帝制、反对张勋复辟等等，并非出于侥幸，而是有其一定的思想基础。从对历史的客观效果说，“三造共和”的声誉，不应只看作是段祺瑞的自我吹嘘与标榜。此外，他对德宣战的态度以及为召开关税特别会议付出的努力也应该予以肯定。
作为政治家，段祺瑞也有雄心抱负，他的政治理想，可见1925年9月18日发表在《政府公报》上的一篇文章《内感篇》以及他1926年写的一首诗《策国篇》中。他认为：中国自古以来就战祸纷繁，人民深受倒悬之苦，这都是人为造成的，但其根源在因果报应。中国的立国之本还在孔孟之道，学习西方的民主政治是不可行的，因为“礼教异趣，服食异式”。此时正值国共合作，国民革命蓬勃发展的时期，广大人民群众反帝爱国运动的斗争矛头纷纷指向执政府和段祺瑞这个临时执政，段的统治岌岌可危。一种本能的恐惧和厌恶，使段祺瑞对各进步党派充满了憎恨。他在文中提出政府对离经悖道“假借云者”，要加以裁制，因为“治国之道，纲纪为先”。
段祺瑞在他写的《策国篇》一诗中，则具体描绘了他自己的建国理想：“乡镇聚为邑，联邑以成国。国家幅员广，画省以区域……政府省长设，各国垂典则。邑宰如家督，权限赖修饬。统治成一贯，筹策行奇特……靖共期力行，百司各循职。良善勤讲诱，去莠惩奸慝。言出法必随，不容有窥测。土沃人烟稀，无过于朔北。旷土五分二，博种资地力。兵民移实边，十省两千亿。内地生计裕，边疆更繁殖。道路广修筑，交通无闭塞。集我国人资，银行大组织。独立官府外，经理总黜陟。发达新事业，随时相辅翊。输入减漏卮，制造精品式，肥料酌土宜，灌溉通沟洫。比户余粟布，孝悌申宜亟。既富而后教，登峰务造极。国际蒸蒸上，谁复我挫折？”表达出希望国家能停止战乱，让人民休养生息，发展生产以增强国力的愿望。
尽管有以上种种值得肯定之处，却不能改变段祺瑞在中华民国史上祸国媚外的形象。他向日本借款，签订《军事协定》，充当日本帝国主义侵华政策由武装侵略逐渐转变为政治拉拢和经济渗透的得力走卒。他迷信武力统一，频频发动内战，使人民饱受兵灾之苦。为应付庞大的军费开支，以其为首的北京政府除了大借外债，还滥发公债、纸币，增加赋税，造成“闾里萧条，炊烟断绝，流离荡析，十室九空”的凄惨景象。他镇压了爱国反帝的“五四”运动、“五卅”运动，甚至动用卫队屠杀赤手空拳的学生，造成“三·一八”惨案，暴露出他反人民反革命的军阀本质。
幸运的是，他终于保住了自己的晚节，不至于留下千古骂名。同时，在民国史上，段祺瑞以其罕有的廉洁俭朴而获得时人的尊重和称道。他没有别墅、庄园，不谋田产。当时的一般政客军阀都有鸦片嗜好，他不但不抽大烟，还很厌恶别人抽大烟。他也不打茶围，不收贿赂，不卖官鬻爵，并管束家人不得替人谋事，甚至严格规定门房不能收人“门包”，客人来了，见与不见，只能由段本人决定……
真是“是非成败转头空”，任由后人细评说。