皖系和反皖同盟斗争的另一个至关重要的问题是吴佩孚从湖南前线撤军，引起直、皖两系斗争更趋尖锐。1918年6月，段祺瑞在任国务总理时决定对湖南用兵。第一路军前线总司令是第三师师长吴佩孚，连续攻克岳州、长沙，直至占领衡阳，段祺瑞对吴佩孚有功不赏，却任命没有任何战功的皖系将领、第七师师长张敬尧为湖南省督军兼省长，这是段的失策。吴佩孚内心不满，1918年8月21日致电当时的大总统冯国璋，要求停战主和。9月26日，由吴佩孚率领衔联合南、北两军将领通电主和。此时，吴佩孚成了皖系和主战派最痛恨的人物。
吴佩孚，字子玉，山东蓬莱人。幼年丧父，天资聪慧，专心读书，1896年考中秀才。不久，县邮政局长祝寿办堂会，请来戏班，男女同台演戏，吴认为伤风败俗，邀了几名青年大闹堂会。县太爷追究闹事者，遂逃离家乡，流落北京，在崇文门外摆卦摊、写春联糊口为生，恰遇堂兄吴亮孚，劝他投军。1898年到天津武卫前军当一名戈什。庚子战乱，武卫前军溃败，吴佩孚又回到北京。1904年到天津投奔巡警营，仍当戈什。他的上司发现吴有学问，保送开平武备学堂学习。1903年袁世凯选一批学生包括吴佩孚随袁的日籍顾问守田赴东北做谍报工作。日俄战后，吴调派第三镇任管带，驻防长春。民国后，第三镇改为第三师，师长曹锟，吴任炮兵团长，1913年左迁为师部副官长，从此成为曹锟形影不离的亲信。吴深知带兵重要，向曹锟请求带兵，曹任吴为第六旅旅长。袁世凯称帝时，调第三师入川镇压蔡锷的护国军。吴打败护国军，袁授予吴陆军中将衔，段祺瑞讨伐西南，曹锟为总司令，任吴为第三师师长。
吴佩孚率领的直军于1920年5月20日从湖南撤军。段祺瑞认为直军撤防必然有一场你死我活的战争，段先发制人，要以吴光新做河南督军，从郑州堵住直军北撤，然而徐世昌仍不同意河南易督。段又采取声东击西的策略，借口向陕西出兵，在河南堵截直军的归路。不料，张作霖听到这个消息，借口边防军出动，京城防务空虚，要求奉军进京拱卫京师。所以段只好放弃堵截吴军北归的计划。6月7日，吴佩孚抵郑州，13日致电反皖各省督军称：反对安福系包办上海和会，建议召开国民大会。这个电报是个爆炸性新闻，任何督军都不会接受的，张作霖看了大为生气，曹锟看了也摇头，在北方反皖各省引起很大反感，只是由于直、皖形势紧张，只好隐而不言。
直军开到河南，北方风云为之变色，奉军为了避免皖系的注意，三营五营地陆续开进关内，又将驻独流河镇的四营奉军经天津进驻廊坊。曹锟则派兵监视德州兵工厂，并以德州为直军右翼前哨阵地。6月15日，直、奉等省督军代表，在保定召集军事会议，皖系也在加紧备战活动。段密令驻济南的边防军第二师师长马良作好动员作战准备。
直、皖两系战争已经到一触即发的时候，大总统徐世昌为避免发生战争，尽力挽救危局，三次电召曹锟、张作霖、李纯三位巨头到北京会商。李纯称病婉辞，派参谋长何恩博为代表来京，曹锟借口第三师回师布防，无法分身，不能来京。而张作霖接到电报，觉得这是以调人的身份联直倒皖的大好机会，于是，19日起程，由两连卫队护卫乘专车抵京。北京军政高级官员均往车站迎接。安福系希望张作霖保持调人的立场，不要倒向直系一边，为此对张来京欢迎极为热烈。安福系的交通总长曾毓隽在奉天会馆大兴土木，粉饰一新。作为张的行馆，张作霖却不予理会，而是下榻在化石桥的奉军司令部。
6月20、21两日，张作霖两次晋谒徐世昌，向徐提出以靳恢复国务总理和撤换安福系的李思浩、曾毓隽、朱深三总长为调停方案。徐表示赞同，并请张去劝说靳留任。张去棉花胡同靳宅，劝靳销假，不要再坚持成见，靳表示自己属段派。当前政局微妙，自己置身其中，处境困难，再干下去，必无良好后果。张作霖同情靳的处境，放弃要求靳复职的努力。
这天，徐树铮和安福系的主要人物在曾毓隽私邸举行会议。分析张作霖进京调停的局势。他们乐观地认为：张作霖进京作调人，表明奉系不会依附直系，只要张作霖严守中立，皖系战胜直系就有把握，他们提出以推选张作霖做副总统做为交换奉系中立的条件。从张作霖进京，谢绝下榻奉天会馆，徐树铮拜访张又吃了闭门羹，可以看出张作霖对安福系的疏远态度。但是皖系好像并不了解直、奉等省早已结成反皖同盟，所以做出了错误的判断。
6月22日下午，张作霖偕同张景惠等部属以及苏、鄂、赣、豫、绥、察、新（疆）等省、区代表乘车前往保定与曹锟磋商。当晚，曹锟、张作霖、吴佩孚及各省代表开会讨论解决时局方案。
吴佩孚发言措词强烈。他说：“国是如斯，佩孚身为军人，食国之禄，保国之责，义所难辞。部下士兵虽不敢谓久经训练节制之师，但亦颇知大义。”如果安福系“不顾国家，徒以破坏大局为事，佩军虽能容忍，诚恐部下义忿，亦难压抑”。张作霖见吴佩孚慷慨陈词，侃侃而谈，满口内忧外患，未免锋芒毕露，对吴的印象不佳，便侧过脸问曹锟，“三哥！我只问你一句，边防军人数比你多，装备比你好，这个仗，你能打吗？”曹锟看着吴佩孚说：“能打”，张说：“你有把握吗？”曹锟看着吴说：“子玉（吴佩孚的字）说有把握，那就有把握。”张作霖说：“既然有把握，那就得打，咱们这会儿别讲大道理，先商议几个条件。”经过讨论，大家议了五条：（一）靳云鹗复职；（二）撤换安福系三总长；（三）撤换王揖唐的议和总代表；（四）解散安福系；（五）解除徐树铮兵权。张作霖对前三条表示赞同，后两条未置可否。他做为调人，不愿趋于极端。为了不使徐世昌为难，决定相机行事，前三条能顺利解决，后两条则等靳复职后，从长计议。
圆滑的“调停人”
23日，张作霖把直系的五项条件带回北京。次日，向徐世昌报告保定会议情况，徐表示可以酌量采纳，不宜操之过急。当晚，段祺瑞在团河行馆设晚宴款待张作霖。席间，段向张表示自己毫无野心，不想当副总统，暗示可以支持张当副总统，张则表示服从督办。谈话转到保定对解决时局的态度，张转达保定要求，三总长先下野。段说：希望各方面不要坚持成见，并表示：靳云鹗可以复任，安福系三总长不都下野，至少保留财政、交通两席。段所以坚持财政、交通两总长不放，是因为这两部是安福系的经费来源。安福系和北京政府的账目混在一起，侵吞了大量公款，仅交通部就有2000万元不能报销的账目。
25至27日，保定方面连续致电张作霖和徐世昌，要求对时局从速解决，至少先办妥一两件，以安军心，特别是提出裁撤徐树铮的筹边使，边防军划归陆军部管辖。张作霖征得徐世昌的同意，赴团河见段，正式提出免除徐树铮筹边使等职务问题。段含糊其词说：“安福之坏，我已知之，我非安福，君亦知之。借大政党，难保无不良分子，无可讳言。”“徐树铮得罪人，我亦知之，我对于国家，始终以直道，绝无权力之私，现在惟望徐总统收拾时局。”又对人说：“徐有功（外）蒙古，为取消（外）蒙古独立之经手者，不应遽夺其职。”段的基本意思，不同意免除徐树铮职务。其实解除徐树铮的兵权是直、皖之争的焦点，如果能解除徐的兵权，就可以避免一场战争，而段拒绝了直系的要求。
28日，张作霖同段达成一项妥协方寒，并得到徐世昌的认可。即解散内阁，靳云鹗不再复任，安福系三总长下野，由周树模组织新内阁，靳仍任陆军部长，边防军归段祺瑞节制，徐树铮的筹边使保留。段在这个问题上做了个掩耳盗铃的让步，实际上依然照旧。当天，张作霖将上述调停情况电告保定方面。保定方面电复张作霖并徐世昌称：对于阁揆问题“悉凭元首主张”，但仍坚持撤销筹边使官制、解除徐树铮兵权、罢免三总长等条件。7月1日，保定方面发布了《直军将士告边防军、西北边防军将士书》称：“此次直军撤防，原为扫除祸国殃民之安福系及倡乱卖国之徐树铮，对于先进泰斗，同气友军，毫无恶感及对敌行为。”又称：“全国本属一家，焉有南北之见，北洋原属一体，何有皖直之分。”这是直系采取的清君侧策略，只提反对安福系和徐树铮，对段祺瑞表示尊重。直系采取这样策略，一是张作霖不主张反段，二是为了分化瓦解皖系的军事力量。
与此同时，安福系与直系针锋相对。6月29日是，安福系成员100余人在太平湖俱乐部召开临时大会，讨论对付办法、提出如周树模组阁，安福系必须保留财政、交通两部，以维持现有势力。经过讨论：作出安福系如不保留财政、交通两部、就不通过周树模组阁的决议。
6月30日，张作霖赴团河向段祺瑞转达保定方面的回电所提内容。段拒绝保定方面所提条件，说“调停政局乃极好之事，惟吴佩孚以一师长干预政事，要挟条件，此风一开，则中央威信扫地。”张作霖见皖、直两系都不让步，难以调停，向段表示谢绝再作调人，并于当晚向徐世昌辞行。徐坚持挽留，段祺瑞和安福系担心张离京，局势发展对皖系不利，也挽留张作霖，表示“诸事尚有磋商之余地”，张才答应留下，表示东三省防务紧张，不能在京久留，只能以五日为期，如届时再不能解决，就将卸职不管。
7月1日，安福系又开会，他们认为：直系既然只反对段祺瑞左右的人，对段本人并无意见，应由段组阁；吴佩孚仅一师长干预国政，亦应惩办，如果能做到这两条，就同意解除徐树铮的职务。安福系可以解散，三总长也愿辞职。这是对直系要求解除徐树铮的反措施。
徐世昌和张作霖商量，为了打破安福系拥段组阁的阴谋，再为下一步免除徐树铮职务作准备，以减轻安福系的反对。7月2日，北京政府发表了批准靳云鹗辞职的命令，同时提名由周树模的咨文送参议院，安福系认为周树模不好对付，直系也不甚赞同，认为周无力解决当前时局问题、直系真正关心的是解散安福系、罢免徐树铮的问题。7月3日，曹锟致电张作霖并转徐世昌，要求罢免徐树铮一切职务。
在直系咄咄逼人的形势下，徐世昌于7月4日在公府召集特别会议，决定由公府颁布命令：一、特任徐树铮为远威将军；二、免去徐树铮西北筹边使职务，留京供职；三、西北边防总司令一缺着即裁撤，其所部由陆军部接收。
安福系对徐世昌的三项命令表示愤愤不平，既除免去徐树铮职务，也要求惩办吴佩孚。徐树铮认为：徐世昌此举，并非针对他个人，而是助直排皖，削夺段祺瑞兵权一徐树铮向段诉说：“树铮之滥借巨款，编练重兵，甘为天下之不韪，无非为督办计耳，今总统惑于金壬，免去树挣之职，是欲排去皖系也，排皖系即是排督办，树挣一身不足惜。其如督办一身之威名扫地耶？”说罢痛哭不已。经徐树铮这一激，段祺瑞压不住心中怒火，气冲冲起来说：“吾与东海有数十年之交往，故于改选时，愿与河向（冯国璋）同时下野，而以元首之位让之，何意彼年老昏聩，竟出此非法之举动。彼既不念前情，老夫亦顾不得面子，今日誓不与之甘休。”
段一向刚愎自用，脑子发热，忘乎所以，不顾皖系在政治上和军事上所处的不利地位，7月5日，段以边防督办名义对边防军作紧急动员，鼓励边防军官兵奋勇作战，说：如果这一仗不能打胜，不但他个人失败，边防军也不能存在，全体官兵的命运将不堪设想。段对边防军的紧急动员，引起京城人心惶惶，直、皖两系要在京城打仗，达官贵人纷纷出京避难，使馆界内、外国饭店又告客满。
7月6日，徐世昌又请张作霖到团河再作最后一次的努力。当天张作霖到团河去见段，这天段的火气很大。咆哮着说：“罢免吴佩孚，万事皆休，”张说：“这怕办不到吧！”段咬牙切齿地说：“办不到也得办，你办不到，我一定要办到。”徐树铮对张作霖伙同徐世昌免去他的职务非常愤怒，把仇恨集中在张作霖身上，徐以假接电话为名，将段叫出，说要杀掉张作霖，段虽刚愎自用，但不是不计后果的人，不赞成徐的做法。段返回座席，机警的张作霖，一眼看出段的神色异常，知事不妙，借口溜出团河，午夜1时，未与任何人作别，悄悄离开北京，在军粮城宣布“局外中立。”
7月8日，段祺瑞由团河回到北京，在将军府召集军政要人举行联席会议，靳云鹗等均到席，出席人员约800余人。会议决定：呈请大总统将曹锟、吴佩孚褫夺官勋，交段拿办。会议还任命段芝贵为京师戒严总司令，吴炳湘为副司令。10日，段在团河成立定国军总司令部，段自任定国军总司令，徐树铮为总参谋长。
免曹锟等人的呈文，交代总理萨镇冰转呈大总统徐世昌，徐不同意惩办曹吴，希望和平解决。段这时根本不把徐放在眼里，遂派重兵包围公府，进行胁迫，限晚8时盖印，徐世昌无可奈何，下令免去吴佩孚第三师师长，褫夺陆军中将及所得的勋位，交陆军部依法惩办，曹锟褫职留用，以观后效。
围绕徐树铮和曹、吴免职问题的激烈斗争，直皖战争已不可避免，双方都在积极备战。段决定派五个师，划分三个战区，以京奉路一带为东路，以固安一带为中路，以琉璃河至高碑店一带为西路。段芝贵兼第一路司令、曲同丰为第二路司令兼前敌司令、魏宗瀚为第三路司令。9日，陈文运的第三师开赴廊坊，魏宗瀚的第九师、李进才的第十三师、刘询的第十五师向芦沟桥、长辛店、琉璃河一带进发。
直系吴佩孚在河南的部队也向北开拔，到达高碑店，留驻郑州部队严密监视在洛阳的西北边防军一、四两旅的行动。曹锟的部队也由保定开赴高碑店。9日，曹锟在天津举行誓师典礼，所率部队为讨逆军，设大本营于天津。前线司令部设在高碑店，任命吴佩孚为前线总司令兼西路总指挥、王承斌（第一混成旅旅长）驻郑州为后路总指挥。
7月9日，张作霖由军粮城回到奉天，10日致电段祺瑞，劝段勿袒护徐树铮。
同时，张作霖通电全国，宣布派兵入关，决心加入直系倒皖战争的行列。11日，召集吉林督军鲍贵卿、黑龙江督军孙烈臣、关内奉军总司令张景惠及二十九师师长吴俊升等在奉天巡阅使署开会，决定由二十七师、二十八师各派一旅入关，保护京奉路。同一天，曹锟致电张作霖，希望在对皖战争中得到奉军的支持。11日，张作霖致电曹锟，说他已派遣第二十八师先行进关，派张景惠为关内奉军总司令。直军和进关奉军总计约有七、八万人。可以应付东西两线的战争，并向曹锟保证：“我辈骨肉至交，当此危急存亡关头，不能不竭力相助。”