1926年4月15日，国民军一军在五军方振武部掩护下沿京绥线撤出北京，退至北起多伦、沽源、延庆，西至晋北丰镇的长达千余里的防线。其在京东各部退往怀柔、顺义、延庆；在京西各部退向斋堂、蔚县、涞源、柳花堡等处。同时，热河方面宋哲元部也撤至多伦。随国民军一军撤退的有国民军二军弓富魁等残部及国民军三部徐永昌师，刘延森、胡德辅及武勉之各旅，和黄德新团、续宝峰独立营。国民军离京时井然有序，对居民没有任何惊扰，其兵力基本也没有损失。国民军的总部设在张家口，对敌防御的中心点是在京西的南口。
南口位于京西昌平、居庸关之间，是华北通往西北的险要隘口，自古就被称为天险，是兵家必争之地。早在1925年下半年，国民军一军就在苏联顾问的参与下，开始修筑以此为中心的百里防线。郭松龄反奉战争爆发前，冯玉祥又于11月8日命令鹿钟麟“速回南口备战”，并明确指示说是为了防御奉军。1926年1月，冯玉祥下野后又派苏联顾问及三个工兵营去加固南口防御工事。经过半年多的营造，国民军在南口修筑了近代化的军事工程。
国民军以南口火车站为中心构筑了第一个阵地带，修建了南口和以东的关公岭及以西的凤凰台三个集团工事。关公岭地势高耸，笼罩全阵地。南口车站前地势开阔；凤凰台高地居右侧，与关公岭成犄角势。各集团工事建筑了大量加盖设枪眼的步兵掩体。连、营、团、旅、师及预备队各部掩壕成齿形相通。在步兵火线前二三十米处掘宽二丈，深一丈五尺的外壕，壕内设侧防壕，外缘设五条回线以上的电网和地雷带。各集团工事前各筑三四个半地下球形碉堡，堡内配置二至四挺重机枪；发电机设于东源。在营、团、旅、师掩壕阵地后，分置有轻、重追击炮、野山炮、野战重炮（十二生的）。
国民军还在距南口站后三千米的居庸关右翼依托凤凰墩，左翼依托诸多山峰，修建了大量圆形步兵加盖掩体，山炮、轻重迫击炮掩体及地下球形碉堡，构筑了第二个阵地带。
此外，国民军在多伦、沽源及至张北之间的各个要地，环设外壕，壕外掘土积筑墙壁，设置有枪眼的壁下掩蔽部和各个掩体。壕外构筑能编成火力网的半地下式侧防机关，编成军事要点。
为了适应新的军事形势，国民军领导集团对指挥体系重新进行了安排。张之江在西北边防督办署内设置了军事、财政、政治三个委员会。他自兼军事委员会委员长，任命张秋白为政治委员会委员长，魏宗晋为财政委员会委员长，并各设委员若干人；聘李烈钧、孙岳为高等顾问；任命鹿钟麟为察哈尔都统，蒋鸿遇代理绥远都统；方振武为口北镇守使。张之江任国民军总司令，国民军一军以鹿钟麟、宋哲元分任东西两路总指挥（旋改为总司令）。国民军二军、三军、五军分别由弓富魁、徐永昌、方振武统帅，国民军的上述安排照顾了一军与其他诸军的关系，也体现了其领导集团的权力再分配。国民军总兵力共约20万人，其一军为十二个师，七个旅，但除去驻甘肃的两个师及驻宁夏的军队外，能直接投入多伦——南口——晋北战线的兵力约16万人。国民军二军仅余两个旅。国民军三军也仅余徐永昌师及其他数团（名义上仍为旅），约1万6000千人左右。国民军五军也不过万人。
国民军为抵抗奉直军阀的围剿，千方百计地筹措军费，提高了京绥铁路的运费，并在察绥等省发行了短期公债。尽管如此，军费依然缺乏，军火供给困难。
从1926年4月下旬起，奉、直、晋三系军阀组成“讨赤联军”，从察北多伦至直隶易县并延伸到晋北的千里战线上，联合向国民军发动进攻。其攻击的中心点，就是京西的南口，故被称为“南口大战”。与此同时，吴佩孚委任刘镇华为“讨贼联军陕甘总司令”，率镇嵩军进攻陕西。4月11日，逃归陕西的国民军二军李云龙（虎臣），与名义上属于国民军三军的杨虎城组成陕军，抵抗刘镇华的进攻，并退守西安。刘部将城包围。杨、李率部死守，开始了长达8个月的“西安”守卫战。该战场虽然独立于南口大战之外，但也是国民军抵抗奉直军阀进攻战争的重要组成部分。
奉、直、晋的“联合讨赤军”，总兵力达50万人以上，分兵五路向国民军进攻。奉军汤玉麟部为第一路，由热河进攻多伦；万福麟部为第二路，由怀柔进攻独石口；直鲁联军徐源泉部为第三路，由昌平攻打南口；直军田维勤部为第四路，由门头沟、紫荆关攻怀来；晋军商震部为第五路，由晋北威胁京绥铁路。
不久，国民军又打破各军名义在编制上对各部又重新进行了统一编排，并制定了三路抵御敌人进攻的军事战略。东路军总指挥鹿钟麟，统帅郑金生第一军，防守南口。该军在南口正面是刘汝明第十师，其左翼守延庆是佟麟阁第十一师；其右翼守怀来是陈希圣陆军暂编第三师。弓富魁为中路总指挥，统帅方振武第二军，徐永昌第三军（《国民军史稿》称其编为第四军）二部，防守从怀来到蔚县一线。北路军总指挥宋哲元，统帅石敬亭第五军，石友三第六军，韩复榘第八军，王镇淮第九军，赵守钰骑兵第一集团军，杨兆麟骑兵第二集团军，防守延庆到多伦一线。蒋鸿遇为总预备队兼第七军军长，统帅第十二师及其他直属部队。“讨赤联军”虽然声称要合力对国民军“犁庭扫穴”，但因在政治上各怀鬼胎，均力图保存实力，不肯先全力出击。张作霖利用吴佩孚急于复仇的心理，一再表示让他负责南口战事，首攻南口，而自己坐享其成。但是，吴再起后所部战斗力很弱，其内部又不统一，力不从心。所以，张作霖只得又任命李景林为攻击南口总司令，让自己早就想剪除的李部当炮灰。为协调进攻国民军的军事部署，“讨赤联军”于5月10日在京成立了联合办事处。李景林部在4月末向南口正面发起进攻，但被国民军击退。4月下旬，阎锡山在张作霖的催促下，命所部进攻阳原、蔚县，拆毁天镇以西至大同的京绥铁路，切断了国民军的后方交通。他委任商震为总司令，谢廉为前敌总指挥，在左云和大同以北设了第一道战线，于平鲁至灵丘一线设置了第二道战线，从晋北配合奉直军阀夹击国民军。京绥线是国民军的生命线。为此，国民军调整了抗敌战略，决定“守南口，防多伦，攻晋北”。宋哲元改任西路军总司令，率国民军石敬亭第五军、石友三第六军、韩复榘第八军等部驰往晋北，保卫京绥线。多伦防线由王镇淮第九军负责。
国民军退守南口后，继续派人与吴佩孚、张作霖、阎锡山等接洽“和平”。但是除了受尽羞辱之外，一无所获，奉直军阀对他们这种反反复复的作风极为反感，所以和平条件只有一条，就是缴械投降。
5月17日，国民军将领张之江、鹿钟麟、刘郁芬、宋哲元、刘骥联名发一致北京治安维持会、各省区军民长宫、各法团、各报馆通电，电文语气强硬，没有向各方示弱之意。他们在通电中表示国民军要“努力开发西北”，“励行保境安民”，“竭诚主持正义”，“尊重主权”，“希望国际投资”；并宣称：“…在适合民意所组织之中央政府未成立之前，如有假借名义，发布命令者，本军惟有不承受而已……”。国民军在求和已经受挫，突然发此通电，除表示自己的内外政策及对中央政权的态度外，还有更深的用意。实际上，这是国民军策划联合直系靳云鹗、奉系李景林，大举反攻的舆论准备，也是国民军内主战派占了上风的具体表现。
5月26日，吴佩孚离开汉口。31日，他到石家庄召开军事会议，田维勤、王为尉、王维城等将领与会，阎锡山也特由太原赶来列席。同日，吴佩孚突然撤除了靳云鹗“讨贼联军”副总司令兼第一军总司令的职务，改任他为陕西督理，其理由称靳“逗留保定不进，虚糜饷糈，贻误戎机”。实际上，吴之此举有极为复杂的政治背景。
吴佩孚虽然公开宣言联奉，但其左右对此却意见不一，他们对吴突然改“讨奉”为“联奉”惑而不解，并对奉系不信任，且大多与国民军有旧，并对国民军的议和活动很有倾心。其中，尤以靳云鹗等为代表。靳与吴佩孚的关系素不融洽，只是出于再起的需要才一时相互利用。靳有个人野心，且不赞成吴的“联奉”政策。所以，吴对他一直不放心。直系打败国民军二军后，吴佩孚让寇英杰出任河南督理，仅派靳为河南省长。靳为此大为不满，曾力辞。吴佩孚不得不为此对其进行安抚，给靳加上一个“联军副总司令”的头衔。靳云鹗深知吴对自己钳制的态度，故想利用现有兵权，另创一番局面。所以，他在此时一面对南口战事持消极态度，一面暗中联络直系各派势力。
奉军及直鲁联军攻占北京后，孙传芳的危机感日生，赞同直系大联合，再共创反奉局面。为此，他派安徽督理陈调元驻南京代表孟星魁北上活动。孟到了北京，先找到多年的老朋友及冯玉祥的老部下段雨村（其澎），并由段介绍与国民军的门致中、肖振瀛见了面，并秘密一起出京，由直军田维勤送到保定，和靳云鹗协商。靳表示同意与国民军及孙传芳合作并派张联棻为自己的代表，赴南京与孙传芳继续会谈。孟星魁、张联棻及国民军代表等同到南京，很快就联合达成一致意见。其议定的协议包括国民军作为中央军队驻防察绥两特别区。共同压迫奉军退出榆关以外，恢复北京政变前内阁代行总统职权等项内容。
与此同时，靳云鹗还通过李景林的参谋长潘毅与李建立了秘密联系。李景林因一度参加郭松龄反奉密谋而见疑于张作霖，故也愿意与靳联合，另谋出路。经过上述秘密协商，靳、孙、李三方暗中结合起来，并与国民军共同制定了一个秘密军事计划：冯军抽调一部进攻晋北；靳军以援助阎锡山为名由娘子关入晋，即与国民军从南北两面夹击晋军；田维勤部进驻南苑、通州，与国民军从东西两面夹击进攻南口的奉鲁军；孙传芳派兵由津浦路进攻山东；李景林部由南口退回天津，截断奉军的退路及奉鲁两军的交通线。此时，国民军代表段其澎、门致中就驻在靳云鹗总部所在地保定。计划决定之后，国民军首先对晋军发动了强大攻势。阎锡山连打急电向吴、张求援。吴佩孚也电令靳云鹗急速前去增援。就在此时，阎锡山电报局截获了靳云鹗与国民军来往的密电，发觉了双方共同图晋的密谋，向吴佩孚进行了举报。此外，齐燮元及田维勤也分别向吴佩孚告了密。在此情况下，吴佩孚认为靳已经对自己构成了严重威胁，故对其采取断然之举。这既消除了自己的内部隐患，也对奉张表示了与其合作到底的决心。与此同时，奉系张景惠也发觉了李景林与靳云鹗秘密联系，向张、吴二人告密。因此，张宗昌急调一部进攻南口的主力回防山东，并于5月30日解散了驻扎在杨柳青、杨村一带的直鲁联军第三十四师赵杰部。6月11日，张作霖免去李景林之训练总监一职，与李有关之机关也均裁撤。李景林被迫将军队交给胡毓坤、荣臻节制。
6月29日，张作霖令张宗昌派军将原李景林部缴械改编。至此，国民军筹划直奉二系内部举事以求反攻的企图完全落空。
阎锡山与国民军的关系比较微妙。冯玉祥对阎抱有一定好感，认为他把山西治理得较为完整。北京政变时，阎出兵石家庄而截断京汉线，阻止直军从河南增援，从而在军事上帮助了冯玉祥。所以，国民军进驻察绥后，与晋阎保持着较好的关系。但是，阎锡山并未派专人与国民军联系，只不过通过商震（冯的把兄弟）遇事通消息。但是，自从樊钟秀攻打山西后，双方开始有了积怨。
樊钟秀的攻晋之举，得到岳维峻的首肯。这使阎锡山对整个国民军都不信任。本来，冯玉祥在得知樊有此意后，曾打电报给岳维峻及续桐溪，让他们制止樊钟秀，并派李泰棻赴晋告诉阎，让他全力出兵对付樊，而晋北无须考虑，国民军一军绝不发一兵一卒。所以，阎锡山由此而对冯甚为感激。但是，冯的此意并不是真正为晋阎打算，而是想将来占晋为己有。国民军往西北发展，京绥铁路是生命线，该路有一小段在山西境内，其安危对国民军是性命攸关的大问题。国民军一军也曾有过进攻山西的计划，在郭松龄反奉前，在与奉方代表订立和平条约八条中，就明确标有“山西地盘由国民军支配”。这对国晋关系有着决定性的影响。
山西西北十三县与绥远犬牙交错，阎锡山一直认为国民军是对山西最大的威胁。他对外也有较强的扩充野心，除派兵出娘子关窥视直隶外，还一直想染指察绥地区。绥远在清朝属山西管辖，所以，他认为其应是自己的地盘，对为国民军所占据而耿耿于怀。
但是，他深知自己远非是国民军的对手，在奉直军阀围剿国民军的战况不甚明了的情况下，在表面上是两面讨好，圆滑应付，不得罪任何一方，但实际上，内心早已站到了直奉军阀一方。国民军及直奉军阀因其所处的重要战略地位，均极力对阎进行笼络。国民军力图使他在与奉直军阀的战争中保持中立，使自己有个稳固的后方。奉直军阀则要拉其下水入伙，加入围剿国民军的联盟之中。
阎锡山面对瞬息万变的北方局势，尽其纵横捭阖，反复无常之所能，重新调整了与各派的关系。
国民军及奉直军阀代表齐集太原时，阎锡山几乎天天召集亲信举行会议，商议晋方的行止。其部下基本倾向于攻打国民军。其中，以阎的智囊人物赵戴文主张尤为激烈；只有参谋长台寿铭却从战略上考虑，极力主张与国民军合作。他认为，晋如不与国民军合作，怕他全力进攻山西。这等于泰山压顶，纵有直奉的外援，也恐怕远水救不了近渴。此议对阎产生了一定影响。所以，他迟迟不肯站在奉直军阀一边。
吴佩孚在河南得手后，阎锡山认为时机已到，开始暴露其真面目。1926年3月5日，他以抓在国民军二军郑思成部任职的孔庚为由，令商震率晋军再次出兵娘子关，攻占了石家庄后，进兵顺德（邢台）。郑思成为国民二军的余部，此时还据守着顺德，从而维系着京汉路的交通。孔庚原是吴禄贞的旧属，在辛亥革命时为阎锡山出任晋督帮了大忙，后任晋军第一师师长及大同镇守使。但是，他因反对袁世凯称帝，与阎闹翻了脸，从此坚决反阎。1925年，孔庚联络樊钟秀及国民军二军进攻山西，给阎锡山造成了一定威胁。所以，阎以此为借口出兵，既消除了个人的心腹之患，也向吴佩孚示好，替他截断了京汉线交通。国民军一军向他询问时，阎锡山虚伪地致电称，此举是防止樊钟秀再次入侵山西。但是，他在致吴佩孚电报中却明确声言，这是为讨伐国民军。3月10日，晋军沿京汉路向正定、保定进发，并在晋北大同集中重兵，大有截断国民军一军后路之势。此外，他还解除了台寿铭参谋长职务并将其扣押。此时，国民军还在努力争取阎锡山保持中立。3月10日，国民军一军将领石敬亭致电阎锡山，劝他仍抱保境安民之旨，勿入直奉联盟。冯玉祥再电询阎锡山，问其出兵石家庄之真意，阎在回冯玉祥电中称，此为截断溃兵北窜。但是，3月15日，他又致电吴佩孚，报告晋军截击国民军二军的情况。并请吴电告直军前方将领与商震联络。3月16日，他又致电吴，表示要“根本铲除国民军”。吴佩孚本来与阎锡山有直奉战争结下的宿怨，但由于阎早已派人表示了“悔改之意”，恳求吴“不念旧恶，共图中原”，且为扩大攻打国民军的力量，故对其也极力笼络。至此，两者已实际结为进攻国民军的军事联盟。阎锡山参加奉直的军事联盟，使国民军抵御奉直军阀进攻的战略计划不得不全面变动。