此时，由田中部署的以山本条太郎为主角的秘密外交，也在悄悄地进行着。田中刚刚上台的时候，就曾召见过张作霖的亲信顾问日本人町野武马。经过密谋，田中决定幕后交涉由町野负责，正式交涉由即将担任满铁社长的山本条太郎出面。
不久，田中便任命山本条太郎为“满铁”社长，并决定由他作为“首相的代表”去同张作霖交涉。他指示山本：“应将全部情况严格保密，不可让外务省轻举妄动”。山本早年任三井物产公司牛庄、上海分公司经理。1927年2月受政友会总裁的委托到中国，分别会晤过蒋介石和张作霖，对中国政情十分熟悉，是个“中国通”。他首先派遣与张作霖关系密切的江藤丰二到北京试探和疏通。江藤与三井财阀有联系，是“中日实业公司”董事长，是可以随便出入张作霖寝室密谈的政治掮客。他携带着“东方会议”通过的“满蒙铁路计划”去见张作霖。
老谋深算的张作霖看到日本要把朝鲜铁路与北满联成一气，心中不禁一惊，他觉得修了这些铁路，好比“怀里抱着炸弹”，将来后果不堪设想。经过深思熟虑之后，他向日本人说了“不”。江藤一看张作霖拒不从命，立即阴沉着脸恫吓道：“如果你不合作，日本军队将帮助你的敌人蒋介石！”因为此时的蒋介石正率北伐军北上讨伐张大帅。经江藤软硬兼施、再三游说，张作霖战战兢兢地在文件上圈了4条铁路。江藤又怂恿说：“7条中至少该答应5条吧？”张被逼无奈，又圈了一条，但他对江藤说：“这只是预备性商谈，你们暂且不要发表。”
经过这番疏通与准备，满铁总裁山本条太郎亲自出马了。10月10日，山本到达北京，通过町野武马的联络，于次日拜访了张作霖，双方进行了紧张的谈判。山本通过町野和江藤对张进行贿赂，送上了一份“厚礼”——以“筹备费”名义给张作霖500万元。同时，日本以同意东北当局修建海龙—吉林铁路为条件，诱使张作霖接受日本的方案。面对日本人的威胁、利诱和蒋介石北伐军灼灼逼人的进攻，为保全自己在东北利益，张作霖只好妥协，与日本签订了《山本条太郎—张作霖协约》。
《协约》规定，中国政府“委托”满铁“承办建造”5条铁路：敦化经老头沟—图们江江岸线、长春—大赉线、吉林—五常线、洮南—索伦线、延吉—海林线。《协约》还规定：竣工移交后，承包款项应付与满铁；如不支付，即转为“借款”。作为交换条件，山本同意张作霖修筑吉林—海龙铁路，但不准将打虎山—通辽铁路展修到通辽以北，禁止张作霖修筑开通至扶余间的铁路。
俗话说得好：欲壑难填。山本在铁路问题上得手后，得寸进尺，又对张作霖表示：苏联从北方威胁你，蒋介石从南面进攻你，你的处境危险，日本愿协助你保住满洲。为此，双方应建立攻守同盟和经济联盟。也就是要求张作霖同日本缔结具有政治和经济性质的两项协定，并把事先在大连拟订的协定草案交付给张作霖。
政治协定是《关于维持东三省治安换文案》。这是一份以“中华民国政府外交部长”的名义致日本政府的“换文”草案。日本在替张作霖拟好的这份换文草案中写道：“贵国政府（指日本——作者注）鉴于东三省之治安与贵国领土之安宁及经济利益具有重大影响，因此，当东三省之治安混乱或有可能遭到破坏时，不问其原因来自民国内部或外部，为维持地方之治安，（贵国政府）将采取必要之措施。”
不难看出，山本的“换文”草案实际是要把《对华政策纲领》变为中日间的“政治协定”，从而攫取东三省的治安权。这样的政治协定一旦缔结，日本帝国主义肢解中国东北的阴谋，就可以“合法”地实现了。
经济协定方案，则是以开放“满蒙”腹地和实行所谓商业租借权为目标。日方起草的协定方案的主要条款是：1.日本人在“满蒙”享有居住、营业、土地商租权；2.“满蒙”生产制造的一切货物自由出口；3.实施“二十一条”中“将旅顺、大连和南满铁路租借期限延长到99年”的条款；4.有关“满洲”的一切其他日中条约继续有效。
这两个协议草案，等于剥夺了张作霖“东北王”的一切。遂以“事关重大”为由断然拒绝。张作霖的态度惹火了日本关东军的少壮派，他们产生了刺杀张作霖念头。此时中国南北两军鏖战正酣，这是日本所不愿意看到的。按照田中的意愿是：蒋介石在南方“遏制共产主义”，张作霖在东北“保境安民”，最适合日本的需要。16日，田中内阁举行阁议，决定在18日向张作霖、蒋介石两政府发出“备忘录”。18日，日本一面向蒋介石政府递交备忘录，要求北伐军不得进入东北地区；一面劝张作霖迅速退至关外，否则不能保证不解除奉军之武装。这就是历史上所说的《五一八备忘录》。这项备忘录的实质乃是田中企图乘中国内乱之机，将“东方会议”决定的“满蒙分离政策”付诸实施。
5月17日深夜11时，芳泽来到顺承王府会晤张作霖。在通知了《五一八备忘录》的内容之后，芳泽告诫并恫吓张说：“如果你的军队逃回满洲，日军要解除他们的武装。”张作霖大怒，与芳泽展开了激烈的争论，一直争论到凌晨3点，无果而散。日本公使馆武官建川美次少将于22日前往保定，向张学良、杨宇霆转达了田中首相的意图，重申了“在奉军溃败的情况下，日军将解除其武装”的要挟，逼迫张作霖退至关外。
这时，关东军急不可待地要攫取整个中国东北。司令官村冈长太郎收到陆相白川义则“用一切手段制止南北两军越过长城”的指示后，立即着手准备，命令第40混成旅团集结于奉天，准备派第14师团开赴锦州。5月22日，村冈决定把关东军司令部从旅顺迁到奉天。
此时，关东军谋杀张作霖的计划出笼。具体行动计划有两个方案：一个是关东军高级参谋河本大作策划的炸车方案，一个是关东军司令官村冈长太郎派遣刺客行刺的方案。村冈认为：“除了杀死巨头，此外断无解决满洲问题的办法。”因此，村冈决定派遣关东军参谋竹下义晴前往北京，同那里的日本华北派遣军配合，在张作霖撤退前夕相机刺杀张作霖。但在竹下出发之前，这一行动为河本大作所知，河本劝竹下放弃这项没有成功把握的冒险计划，而同自己合作，专门在京侦察张作霖的行踪，为而后的行动提供确切的情报。竹下接受了这个意见。
不久，河本收到了竹下的密码电报，内称张作霖真的要逃往关外回奉天了。于是，河本又向山海关、锦州、新民和京奉线的重要场所派出了侦察人员，以监视张作霖的通过地点，并准确地报告张作霖专车的通过时间。
1928年6月1日晚，河本单身一人到皇姑屯察看地点，选定了南满、京奉两路交叉点，认为这里是关东军警备队警备地带，行动方便。河本还决定万一在上述地点炸死张作霖的计划归于失败，就实施第二个步骤，即颠覆列车脱轨，趁乱让“拔刀队”杀掉张作霖。6月2日夜，河本亲自率关东军工兵队布下所谓“必死之阵”：在铁路交接点里埋置了30麻袋黄色炸药，在500米外的瞭望台上安装好电流引爆装置，在交接点以北装置了脱轨机，在附近又埋伏了一排冲锋队，并指定独立守备队第2大队东宫铁男大尉为现场指挥。河本还雇用了3名中国士兵来放哨。
5月30日，北伐军占领保定。张作霖召集高级幕僚商讨对策，决定下总退却令，返回东三省。6月1日，张作霖邀集驻北京各国使节在居仁堂举行告别仪式。6月2日，发表“出关通电”。6月3日深夜，张作霖含泪乘专车悄悄离开北京。
6月4日晨5时27分，当张作霖的专车行至奉天近郊皇姑屯南满铁路与京奉铁路交叉点的旱桥时，轰隆一声巨响，专车被炸翻起火，黑烟高达200米。张作霖身受重伤，4小时后死去。这就是关东军炸死张作霖的“皇姑屯事件”。
“皇姑屯事件”发生后，日本关东军编造谎言说，暗杀为北伐军便衣队所为，企图掩人耳目。他们万万没有想到，事后一名侥幸逃脱的中国士兵跑到张学良处向张学良的秘书道出了事件的真相。张作霖的老部下王家桢又向张学良提供了日本关东军借张作霖被炸之机，蠢蠢欲动的秘密情报：以大帅府顾问为伪装的日本侵华间谍土肥原贤二、关东军高级参谋河本大作、板垣征四郎企图出动关东军，趁东三省治安混乱之际一举解决“满蒙”问题，夺取我东三省大好河山。
面对极其险恶的政治局势，少帅张学良采取慎重态度，迅速做出秘不发丧的应变准备。在调整好内部关系、稳住了局势之后，为彻底粉碎日本分离“满蒙”的阴谋，实现中国的统一，保证中国领土不被外敌侵占，张学良毅然决然于7月5日发布和平通电，开始南北对话。进而不顾日本方面再三阻挠，于1928年12月29日易帜，使中国东北挂起了青天白日旗，东三省并入国民政府管辖下。
东北易帜使日本企图将“满蒙”从中国本土分离的计划破灭，宣告了田中“积极外交”政策的彻底的失败。田中本人也因此被日本天皇革职罢官。