尤其令人发指的是，日本军国主义践踏国际法准则，残杀了国民党政府山东特派交涉员及16名外交人员。日军于5月3日包围并强行搜查了山东交涉署，南京政府战地政委会外交处主任特派交涉员蔡公时用日语表示抗议：“我们是外交官，这里是非战斗单位，不许搜查。”日军却毫不理睬，将蔡捆绑起来，把他的耳朵和鼻子割去。蔡公时坚持民族气节，怒斥日军暴行：“日本人对我如同古代奴隶社会对待俘虏一样”，“日军决意杀害我们，惟此国耻，何时可雪？野兽们，中国人可杀不可辱！”日军大怒，又将他的舌头、眼睛挖去，并对其他人也百般摧残。最后，除一人侥幸逃脱外，其余的人全部被日军杀害。其状之惨，令人目不忍睹。
3日夜，蒋又严令驻在商埠的军队全部撤退，同时派外交部长黄郛和日方和谈，蒋又遵照日方要求，严令蒋军不许还击。在5月3日这一天，被日本侵略者野蛮屠杀的中国军民在1000人以上。蒋军将士群情激奋，士兵寻杀日军，几位军、师长请战，要求全歼此股日军。蒋介石迅即召开军长以上军官会议，严禁还击，取“忍辱负重”方略，命令部队绕道渡黄河，继续北伐。
5月5日晚间，蒋介石仓皇逃出济南城。6日，蒋介石与黄郛乘马绕道逃到党家庄车站。冯玉祥也从河南前线赶到这里。蒋、冯在清真寺中举行会议，黄郛、王正廷、蒋作宾、杨杰、杨永泰等参加会议。蒋提出放弃北伐，与奉张划江而治，分“南北朝”。多数人反对这项主张，而冯玉祥反对放弃北伐最烈。会议决定济南问题以外交方式办理，蒋暂返南京主持一切，军事由冯指挥，绕开济南，继续北伐。
5月10日，南京政府推谭延闾乘车北上，阻蒋南行。南京政府认为，奉鲁军已经无力继续作战，张作霖于9日下了停战撤兵的命令，北伐任务很快就可完成。如果北伐军退回南京，必然会引起军事上和外交上的更大变化，南京政府将因此而全盘瓦解，连江南半壁苟安的局面也不可能维持下去。谭延闾和蒋介石在兖州举行了重要会议。会议决定继续对日妥协，绕道北伐。
而5月7日，日军第六师团师团长福田彦助向蒋介石发出最后通牒，提出无理要求，并限12小时以内答复。蒋介石派熊式辉、马家伦连夜赶赴济南与日军交涉，日方又谬称期限已过，拒绝谈判。8日拂晓，福田下令重炮攻城，11日济南陷于敌手。日军占领济南城后，大肆屠杀中国军民，肆意杀人抢掠，奸淫妇女，无所不为，随时聚市民刺杀取乐，中国军民在马路上行走时，在商店里买东西时，甚至在澡堂里洗澡、在理发店里理发时，只要被日本兵碰上，立即遭到杀害。又将街上市民赶至一处，作刺杀目标取乐，并不准市民关门，以便日军入宅强奸妇女。市内军民死伤无数。日军还唆使日侨义勇团，杀害平日有反日言论或者取缔过日货的中国学生、工人、店员。一时间，济南成了日寇屠杀中国军民的杀人场。日军为了消灭罪证，把中国军民的尸体用麻袋包裹后，运至青岛投入海中，或者浇汽油焚烧。来不及撤出的数百名伤员也全部被日军屠杀。
惨案发生后，日方否认日军屠杀中国人民的罪行，反而要南京国民政府道歉、赔偿、惩凶。双方的损失各自罗列如下。
据日方称：日本侨民12人于5月3日中午被杀死，5月5日于济南车站东方铁道线路附近发现尸体9具，5月6日在津浦车站附近发现尸体1具，9日又发现尸体2具。此外日侨136户被劫掠，400余人受害，30余人受伤，2人伤重死于医院。日军死亡9人，受伤32人。
据事后中方济南惨案被难家属联合会调查，中国军民共死亡6123人，伤1700余人。财产损失2957万元。1929年3月28日双方签订《议定书》，宣称“中日两国所受之损害问题”俟双方“实地调查决定”，后亦无结果。
兖州会议后，11日北伐军撤离济南，面对日军制造的惨案，蒋介石采取了退让方针，命令北伐军“忍辱负重”，绕道渡过黄河继续北上。蒋介石有意将冯、桂、阎三部都推上北进的第一线，既限制冯的指挥权，又可造成三者之间的矛盾，以便由蒋从中控制。
张作霖见大势已去，就决定打着停战息争、保境安民的旗号退回关外。6月4日5点半，张作霖所乘专车行到沈阳西北六里皇姑屯站，突然炸弹爆炸，南满路铁路桥被炸坍塌下来，专车从4号到7号炸成粉碎，张作霖受重伤未死，同车的吴俊升则被炸得腹破肠出，脑浆迸流，登时气绝毙命。血肉模糊的张作霖被人从破轮碎铁中抬出来，又被抱上汽车开回沈阳，已经昏迷不醒，当日16时身死。
8日，南京政府和平接收北京，改称北平，改直隶为河北。孙传芳残部在冀东宝坻一带挂旗投降，被阎锡山派人收编。6日，张学良、杨宇霆离开北京到滦县办理撤军事宜。孙传芳率卫队1000多人，随东北军三四方面军撤到滦县。他和杨宇霆、张学良住在滦县北山的一所庙宇里渡过了一段时间。不久后，孙传芳又随张学良回沈阳，杨宇霆仍在榆关处理撤军事宜。
孙传芳在山东的残部在胶东投降了国民党新军阀，被阎锡山改编为第5军团，郑俊彦为总司令，李宝章、马葆珩为副总司令。至此，孙传芳的军队全部丧失，他本人也成了一个无军队、无地盘的下野军阀。此时，他除了拥有显赫一时的军阀历史和搜刮的万贯家财及贼心不死，一心想寻机东山再起的强烈愿望外，一无所有，往日五省联帅的耀眼光泽已暗淡失色。
孙传芳到奉天后，张学良对他礼若上宾，交往甚密。张学良在帅府(张学良的住宅)内专门设有孙联帅办公室，并委孙传芳为东北保安委员会委员，每天有专车按送上下班。
张学良经常与孙传芳交谈，大到军事、政务，小到家庭琐事，无话不谈，两人很亲密。前方军事结束后，杨宇霆也回到奉天。杨宇霆与孙传芳是留日士官同学，早在杨宇霆督江苏时，孙传芳就与他打过交道，彼此互为了解，政见也基本相同。
自从张作霖死后，杨宇霆日益骄横跋扈，不把张学良放在眼里，背后当着人面叫张学良为“阿斗”。孙传芳就游移于两人之间，白天多在帅府，与张学良接触；夜间多赴杨宅，与杨宇霆周旋。他曾跟任作楫说：“在东北，只有两个人，要两面交好。”
有一次，孙传芳与任作楫一同到杨宇霆家，刚坐下，杨宇霆就问孙传芳：“阿斗为何还不见来？”一会儿，张学良也到。这一时期，张学良不断与杨宇霆周旋，每晚都到杨宅。在归途中，任作楫问孙传芳说：“阿斗是谁？”孙传芳笑着说：“你不知道吗？就是你们总司令，他(指杨宇霆)一向是这样说法。”
杨宇霆的种种骄横做法渐为张学良所无法忍受，于是1929年1月10日，张学良枪毙了杨宇霆、常荫槐，并连夜召集东北的首要人物张作相、翟文选、万福麟、王树翰、王树常、袁金销、莫德惠、刘哲、臧式毅、孙传芳等到帅府议事，向他们解释事件的原因及经过，并征求他们对处理善后事宜的意见。
大约第二天早4时，孙传芳才从帅府回家。他整理了一下东西，重新穿着一新，并派人去接任作楫。与其做了长谈，一直谈到早上8时。之后，嘱咐任作楫去上班。
原来，孙传芳自10日夜参加帅府议事之后，就决心要离开奉天。因为他以前与杨宇霆过从甚密，都主张东北要亲日联俄，依附于日本帝国主义的羽翼之下，据关外独立。扼守榆关天险，一候关内有变，东北军就可以入关，与蒋介石争夺天下。现在杨、常已伏法被诛，所以，他怕祸及自身，就决定出走。孙传芳办事极精明，他知道要走也不能不明不白地走，那样会见疑于张学良。所以，他临行前把任作楫找来，向他表明一下自己对张学良的赞成态度和忠心耿耿，并对张一通猛夸。
任作楫是张学良身边的人，孙传芳认为他一定能把自己的这番话带给张学良。果不出孙之所料。上班后，任作楫总觉得这事有些奇怪，总觉心中有事。上午11时，他又回到孙传芳家，问孙太太孙传芳是否在家，她回答说：“大连方面(指孙传芳的另一位夫人)来电说，患病甚重，联帅到大连看她去了。”
任作楫急忙回帅府向张学良汇报。张学良听罢，也感惊异。后便将孙传芳的夫人也送回了大连。在孙传芳走后第三天，任作楫接到他由大连寄来的一封信，并附给张学良的信一封。给张学良的信只寥寥数语：“因内子患肺病，来连一视，匆匆未及走辞。好在连、沈相距咫尺，朝发夕至，如有见召，随时可以回沈。”
但他给任作楫的信却很长，达千言之多。他在信中详细叙述了出走沈阳的原因。任作楫就把这两封信都给张学良看了。实际上，孙传芳的两封信都是给张学良看的，只是把表白心声的信用间接的形式送给张学良，以示所言其实。
孙传芳离沈阳后，曾经给张学良提过三次建议。第一次是1929年，第二次是在1930年。
那年，汪、阎、冯在北京组织北京国民政府，准备与蒋介石进行中原大战。孙传芳认为时机已到，便亲自赴沈阳，住在日本站大和旅馆，并约任作楫去谈话。他说：“现在内地局势已有变化，汪、阎、冯在北京组织政府，对抗蒋介石，东北应该早定大计，参加北京方面反蒋，我决定进关襄助，特为此事来沈与汉帅一谈。”
孙传芳此次来沈阳是想拉张学良反蒋，自己也乘机东山再起，出关收复旧部，逐鹿中原。可是，张学良却派兵出关帮助蒋介石，使北京国民政府土崩瓦解。孙传芳的野心又没有得逞。
1931年“九一八”事变后，孙传芳依附于东北，以图东山再起的美梦彻底破产。他举家迁往天津英租界，过上了“隐居”生活。任作楫因赴天津购买医药材料而来天津，顺便来看望孙传芳。他又对任作楫慨叹地说：“汉帅不听吾言，果有今日。为今之计，汉帅应速派一位全权代表(敢于负责的人)回沈阳与日本方面折冲，从速解决争端，然后自己赶回沈阳坐镇，保持东北领土。尽管在权益方面有所损失，仍可掌握军、政大权，东北仍为中国所有，如果迁延日久，木已成舟，东北将为朝鲜之续，他也无以自处！如果放弃根据地，带几十万军队寄食关内，不但为蒋所不容，亦为地方所不许，那就同我如出一辙。你可以去北平，把此意转达于汉帅。”任作揖到北平后，即把这些话转告了张学良。
从以上几次谈话中，可以看到，孙传芳到东北，是抱有雄心的。他本想厕身于张学良左右，把残部寄食于冀鲁之间，静观关内时局变动。一旦关内有变，便可借东北之势，收旧部残余，逐鹿中原占领一块地盘，发展一支军队，仍不失为一路诸侯，一方霸主。只是时局已经不会向他设想的方向发展了，他已经走入了自己的末路生涯……