避居天津的段祺瑞开始吃斋念佛，表面上好像在修身养性，实际上仍密切注视着风云变幻。
1922年1月奉直交恶，2月13日段祺瑞自北京到天津，作反直系活动，5月直系军阀战胜奉系掌控了北京政局。1923年1月26日，孙中山派于右任赴天津晤段祺瑞，会商联合反直。8月6日段祺瑞对日本记者谈话，声称“将领导反直系运动”。1924年3月7日，被孙中山任命为北洋招讨使的曲同丰离粤北上，将赴津、奉与段祺瑞、张作霖商谈反直。3月13日为段祺瑞六十寿辰，尽管他一再登报表示谢绝隆重祝寿，然而本日参加寿筵者竟达千人之多，段祺瑞见各派政治力量代表集聚一堂，恐难推辞，乃托辞久病新愈，绝不见客。
1924年9月3日江浙战争爆发，9日段祺瑞通电讨伐曹锟，15日第二次直奉大战爆发。10月12日冯玉祥派贾德耀自滦平赴天津与段祺瑞密洽，请段出山，18日段祺瑞代表宋子扬到滦平晤冯玉祥。10月23日，冯玉祥发动北京政变，囚禁了贿选总统曹锟。张作霖、卢永祥等为了保存直系势力，以维持均势，便联名推举段祺瑞为“中华民国临时执政”。段祺瑞欣然接受，于10月22日从津返京，再次上台成为中华民国事实上的国家元首。
此时，张作霖为满足其武力扩张的野心，意图控制北京，控制段政府；同时，也为试探在京畿附近驻军的国民军的态度，他以“巩卫中枢”之名大举入关，国、奉矛盾骤然激化。国民军诸将主张与奉军决一雌雄，但冯玉祥担心因此促成张作霖与吴佩孚携手而主张忍让，最后让出了道州、北苑、南苑等防区。奉军即进驻京师重地。
段祺瑞对张作霖此举大为紧张，一再通电邀其入京会商，但张作霖置若罔闻，入关到了天津都不进京。而且张作霖于6月2日至4日召集李景林、张宗昌、张学良、姜登选、郑谦等开会，作出推举梁士诒组织内阁的决定，并上报段祺瑞。这分明是要削弱段的权力，段坚决不同意改内阁制，因张作霖此时感到尚不能完全控制中央政权，只好放弃该项动议。这个时候，正值上海发生了“五卅惨案”，全国反帝爱国热潮高涨，张作霖不便发动内战，便以维持秩序为借口，令张学良率2000人军队于6月13日进驻上海，破坏了奉浙和平条约中“淞沪永不驻兵”的约定。使张作霖非常高兴的是，他这样做居然没人反对。21日，他下令调回张学良，改派邢士廉率所部进入上海。22日，江苏省长郑谦宣布淞沪戒严，任邢士廉为戒严司令。上海就这样成了奉系的势力范围。
奉系再度南扩，直接威胁到长江中下游直系的势力，浙江孙传芳首当其冲。孙传芳一直在整军经武，他把保定军校出身的青年军官提拔为各部重要军官，给军队“按月发饷，按季换衣，可称得兵强马肥，军容一新”，为的就是防范奉系，所以奉系一直无隙可乘。奉系杨宇霆督江苏，邢士廉守上海，军纪都相当败坏。奉军到处敲诈勒索，奸淫妇女，无恶不作，弄得怨声载道，两地人民反奉情绪极盛。孙传芳便利用这个机会，大作文章。他联络江苏巨绅名流张一麐、张謇等人，在南京、上海等处组织了大规模的士绅人民抗议奉军暴行的游行请愿，为进攻奉军制造借口。
10月7日，孙传芳在杭州召集浙、闽、苏、皖、赣五省代表举行会议，决定成立五省联盟，以“拥段反奉”为旗帜，组织“浙闽苏皖赣联军”。10月10日，孙传芳借国庆秋操之机，一方面指责奉军违反“上海永不驻兵”的协定，方面下动员令，准备对苏州、上海奉军发动进攻。
奉军这时在山海关、天津、徐州、南京、上海一路驻兵，形如长蛇，兵力极分散。张作霖顾忌国民军从中截击，分割包围他，遂由杨宇霆电令邢士廉率部撤至苏、常等地。15日，孙传芳通电就任浙闽苏皖赣五省联军总司令职，并下总攻击令。段祺瑞赶紧劝慰双方，希望平息战火，但没有效果。联军初战便频频告捷，上海、南京相继被其占领。张作霖大发雷霆，召集张宗昌、诸玉璞、施从滨等重要将领开会。张宗昌自愿率领他的5000白俄军收复南京。施从滨则愿率其47混成旅收复安徽。张作霖就任命张宗昌为江苏善后督办，施从滨为安徽善后督办，重组大军，再度南下。
战端既开，国民军的态度对奉系就非常关键了。张作霖为同冯玉祥联络感情，他表示愿意将奉军撤出保定、大名、廊坊，由国民军驻扎，希望能借此获得冯的支持。冯玉祥未表态。为对抗奉系，以萧耀南为首的长江各省直系又纷纷电邀吴佩孚出山主持讨奉大计，吴便在19日发表通电定于21日到汉口与联军共同讨奉。
吴佩孚东山再起，又开始幻想“饮马洞庭，击楫扬子”，令冯玉祥更不愿对时局作出明确表态，而以表面上维持中立姿态和模棱两可的态度在双方之间周旋。10月21日，冯玉祥应段祺瑞的要求，分别致电孙传芳、张作霖，希望双方互让互退，以谋和平；暗地里，冯则与孙传芳互通。
五省联军北上顺利，奉军节节败退。张作霖一面在10月23日通电表示愿意维持和平，一面继续派人与冯玉祥磋商合作事宜。段祺瑞也不愿看到吴佩孚这艘“百尺楼船”又出“海底”(吴佩孚曾有自作诗曰：“百尺楼船沉海底，只因使尽一船风”)，亦于23日亲自致电冯玉祥，希望他和张作霖携手。冯却仍表示持中立态度。
此时，在津浦线，五省联军和奉军在蚌埠与夹沟之间进行着非常惨烈的战斗。奉系这方，攻蚌埠的施从滨部战败撤出蚌埠后，仍在蚌埠以北凭借铁甲车作战，希望挽回败局。谁知孙传芳的谢鸿勋部上官云相团早已绕到固镇桥以北，把铁轨拆掉，断了施军的归路。当施部逃到此处，“铁甲车立即倾倒路旁，他(指施从滨)和随从人员全部被俘。那时施已是须发皆白的70岁高龄老人，着陆军上将服装，他还很自然地对孙军说：‘你们辛苦了。’由谢鸿勋派营长一员把他送往蚌埠总司令部(谢还写一报告给孙传芳，并要求优待施从滨)。施见孙传芳时还行了军礼。孙在烟床上动也没动，便笑着说：‘施老，你好，你不是来当安徽督办吗？你马上去上任吧！’就命人把施拖出去枪杀了。”孙传芳此时得意忘形，儿戏般地枪杀了施从滨，给自己惹下了杀身之祸。10年后，他穷途潦倒。一日，他正在天津英租界的居士林佛堂合掌闭目、口诵经文的时候，一个中年妇女朝他连开三枪，杀死了他。开枪之人正是施从滨的女儿施剑翘。
孙传芳联军攻克蚌埠以后，又以东西南扇形之势围攻徐州。11月6日、7日，河南岳维峻的国民二军在与孙军联络好之后，兵分三路向东开进，进攻山东、直隶的奉军。张作霖见此形势，在11月7日急令奉军撤出徐州，退守山东。为防冯玉祥的国民一军抄了后路，张作霖派重兵把北京包围起来，令张宗昌在山东扼守津浦路；李景林驻保定、大名，阻隔国民一军和国民二军、三军的联系；姜登选和郭松龄分驻天津、沧州之间和滦州一带。
国奉关系骤然紧张，在段祺瑞周围也引起了一系列的反应。当时，段周围簇拥着一批谋臣政客，“盖段之亲信，本分皖、闽两派”，皖派首领是徐树铮，因他这时一直在国外，实际首领是冯玉祥的拜把兄弟贾德耀。贾是段祺瑞的学生，同段有很深的历史渊源。该派“因拥(段宏)业(段祺瑞之子)以自重，汤漪、章士钊等悉依附之”。故又谓“太子派”。“太子派”“主张联络冯玉祥及河南的国民军抑制张作霖”，但凡段祺瑞跟冯玉祥有所联络，就由此派人物出面。闽派以曾毓隽为首，曾因为对段的政府信心不大，而不在政府里担任要职，所以代表该派在段面前说话的是段的舅老爷吴光新，人称“国舅派”，“国舅派”“始终主张拉紧张作霖，打击冯玉祥”。两派互不见容，“对外表示都是假传段的意思”。段祺瑞本人一直在国奉双方关系上找平衡，对身边任何一派都不便有所偏倚；再说两派的存在也方便他与国奉对话，所以他坐视两派的纷争保持沉默。
张作霖包围了国民军控制的北京城。陆军总长吴光新害怕因为自己同张作霖关系密切，而被国民军抓了去，便向段祺瑞请求辞职，由次长贾德耀代行其职，同时交出所辖的执政府卫队旅。结果附属“国舅派”，或者与国民军不合的诸人：教育总长章士钊、交通总长叶恭绰、财政总长李思浩、警察总监朱深以及许世英等人也纷纷向段提出辞职。他们一走，政府形同瘫痪，令段祺瑞顿感无措，有人劝他就此主动下野，以免将来难堪。段祺瑞恋栈，拒绝了。
11月8日，联军进占徐州、海州等地。至此，孙传芳达到了他将奉军逐出江苏，并控制苏、皖、浙、闽、赣五省的目的。
浙奉战争后期，国奉决裂在即。11月12日，冯玉祥致电段祺瑞，声明所部在京并无越轨行动，谴责奉军在京畿附近增兵10万。同日，张学良携张作霖的进攻令入关，抵达天津召集众将领开会。会上，手握重兵的郭松龄已在酝酿联冯(玉祥)反张(作霖)，不同意打冯；李景林为坐稳直隶也想罢兵，张作霖便有撤兵的意图。段祺瑞见此情形，积极予以调解，令张作霖主动妥协，同意将保定、大名重新让给国民军，并从京畿周围撤军。
段祺瑞松了口气，于11月13日下令冯、张通力合作，阻止吴、孙北上。命令曰：“所有京汉铁路沿线，应责成冯玉祥、岳维峻极力维持，相机制止，以遏乱萌。至孙传芳前次通电，本以淞沪驻兵为言，今仍前进不止，武力是图，殊违本执政倡导和平之意，着即通饬所部，停止军事行动，听候解决。其在津浦铁路前线，仍责成张作霖、李景林妥为办理，毋任蔓延。京畿驻兵，均着即日恢复此次军兴以前原状。”
事实上，孙传芳刚刚据有浙、闽、赣、苏、皖五省，亟须坐稳地盘，稳扎稳打以避免像张作霖那样把战线拉得过长，兵力分散，所以他决定不再北进，并通电表示拥护段祺瑞。段见孙表现得很“听话”，遂于25日任命他为江苏督办。孙传芳却在南京又正式宣布成立五省联军，自任总司令兼江苏总司令，还赶跑段祺瑞任命的安徽督办，自行命定。段祺瑞才知道孙根本不是个“听话”的角色，然而他也无能为力，只好认了。孙传芳自此以东南五省为地盘，成为直系军阀中与吴佩孚分庭对抗的另一巨头。
张作霖在接到段祺瑞“恢复此次军兴以前原状”的命令当日，致电段，表示愿服从段，其“所属各部，均遵令撤退”。随后，国奉双方相继从京畿一带撤离，该地的形势稍稍缓和。
此时，因为奉系军阀武力扩张、横征暴敛，充当帝国主义者的打手，镇压反帝爱国运动等等诸多倒行逆施。段祺瑞却包庇、纵容奉张为所欲为，以及他召开以增加附加税而非争取关税自主为目的的关税会议，激起全国人民的愤怒，全国一片反奉倒段之声，奉系军阀内部也产生分化，终于酿成郭松龄反奉事件。
郭松龄，字茂辰，1882年出生于奉天，奉天速成学堂毕业，曾任奉天陆军讲武堂战术教官，教过张学良。张学良对郭的品德和能力非常钦佩，1920年张学良任卫队旅旅长时，即推荐郭为旅参谋长兼第二团团长。此后，郭就成为张学良非常信任的得力助手。而且，他因为治军和战绩卓着，得到张作霖的赏识，成为奉系一员大将。但因此引起杨宇霆等人的不满。
奉系军阀原来就有“老派”与“新派”之分。张作相、张景惠、吴俊新等人是张作霖当年的拜把兄弟，为“老派人物”；“新派人物”则包括：毕业于日本士官学校的杨宇霆、姜登选等为“士官派”，又叫“洋派”；毕业于陆军大学和保定军官学校的郭松龄、李景林等为“大学派”，又叫“土派”。长期以来，各派之间勾心斗角，尔虞我诈，“洋派”和“土派”之间的矛盾最大，杨宇霆和郭松龄的关系最紧张。第二次直奉战争，奉系大丰收，杨宇霆、姜登选、张宗昌、李景林等人分别得到一块地盘，而郭松龄为杨宇霆的谗言所害，未得到应有的封赏，郭对张作霖、杨宇霆的不满愈发增加。郭本人有救国图强、改造东三省的思想，在获悉张作霖以对日承认“二十一条”为条件，换取日本支持他进攻国民军的绝密消息，非常愤怒。适逢这时国内反奉运动兴起，奉军在浙奉战场溃败，遂与冯玉祥密约反奉。
11月23日，郭松龄在滦州召开秘密军事会议，宣布倒戈并回师奉天，武力驱张(作霖)。25日冯玉祥发出通电，敦促张作霖下野。郭军进展顺利，27日占领山海关，12月6日占领锦州。张作霖慌乱之中拟逃往大连。冯、郭在12月1日曾派代表向段祺瑞请求免去张作霖本兼各职，予以查办；由郭松龄继任奉天督办。12月5日，段祺瑞被迫答应。
郭军长驱直入，势如破竹，连张作霖本人都认为奉天不几日就要落入郭手，但事情发展却突然陡转直下。日本向来视我东三省为它的势力范围，由于张作霖对他们也不是很服从，所以当郭松龄起兵的时候，日本一边公开表示不干涉的中立态度，一边对郭和张双方都进行拉拢和要挟，以便将来不管政局如何，都能对它有利。郭松龄对日本提出的割让辽东半岛才予以协助的要求断然表示拒绝；张作霖为保住其地位，却和日本签了一个丧权辱国的密约，从而获其支持，打败了郭松龄。
12月21日，郭松龄兵败被围，于清晨携夫人韩淑秀化装成农民乘一辆庄稼院大车，冒雪南逃。“日本驻新民领事馆侦知其去向，告知奉军。奉军第六方面军穆春师骑兵营长王永清跟踪追来，在辽中县苏家窝棚附近一民家菜窖中将郭松龄夫妇逮捕，并立即送往老达房师部。张作霖闻讯，立即赶往沈阳，旋又在杨宇霆怂恿下，于25日下令将郭氏夫妇就地枪决。郭时年仅43岁，张学良对郭之死，甚为惋惜。28日，张作霖令将郭之尸体送往沈阳，在小河沿示众三日，以泄其恨。”
郭松龄反奉，为壮大实力和声势，曾极力争取时任直隶督办的李景林参加倒戈。李景林因为是直隶人，在奉军中颇受猜忌、排挤，对张作霖也有不满。郭松龄、冯玉祥在他们的密约中应允李景林，保证他的直隶地盘，并给他热河，李景林便同意与郭、冯合作。但郭松龄在滦州遇难后，冯玉祥受热河议会等团体所请，命宋哲元率部就任热河都统。而国民二军在进驻保定后，又企图利用郭松龄倒奉之机，抢占奉系地盘，对撤防的李景林部穷追不放。国民一军的张之江部还向李提出假道天津出关援郭的要求，亦是想取直隶，令李景林对冯玉祥和国民军很不满。张作霖这时则极力拉拢李。李景林很快转变立场，12月4日通电声讨冯玉祥。5日，他又通电表示因为北京被冯玉祥控制，所有段政府的命令绝不承认。李景林的奉军和国民军在天津大打起来。12月24日，也就是郭松龄兵败被杀之日，李景林兵败逃入日本租界，随后又到济南和张宗昌会合，组织直鲁联军。这一日，冯玉祥致电段祺瑞，要求他任命孙岳为直隶军务督办兼省长，取代李景林，段祺瑞答应了，第二天即发布此项命令。事实上，为维持自己摇摇欲坠的地位，段祺瑞一直委屈自己极力讨好国民军。