陛下如果相信我的忠心，致使我们之间可以不动干戈，就请琢磨好把一两个佞臣赶出朝廷。”二十二日，北魏皇帝又把京城文武百官商讨的意见记录下来答复神武帝，让舍人温子升草拟诏书，温子升犹豫不决，不敢动笔。孝武帝坐在胡床上，生气的拔出剑来。温子升才写了敕书。起初，神武皇帝从京师出发往北行进，认为洛阳久经战乱，王气已尽，即使有山河之险可守，但地方狭小，比不上邺城，就请求迁都邺城。北魏皇帝说：“高祖皇帝在洛阳建都，作为永久的根据地，对它进行规划建设，一直到世宗朝才结束。大王既然有功于国，就应该遵守太和旧制。”神武帝听从了诏令。到这时，他又重新谋划迁都之事。征调三千骑兵镇守建兴，增加河东及济州的驻军，规定以白沟为界，所有船只不准去洛阳，各州征收的粮食全部运往邺城。北魏皇帝又诏令神武帝：“大王如果想顺从民意，杜绝别人的非议，只有撤退河东之兵，撤走建兴的守卫邹队，送还相州征收的粮食，追回济州的军队，让蔡俊辞职，打发邸珍离开徐州，收回兵器，散去马匹，各自经营自己的家业。如果需要粮食，就让别人转送，这样让进谗的人没有什么话说，相互之间也不会产生猜疑。大王在太原可高枕无忧，我在京洛亦可无为而治，永远不想举足渡阿，互相之间也不用动干戈。火王如果想挥军南下，窥测神器，我虽然没有什么武略，但想要压制自己是不可能的，一定要为宗庙社稷考虑，想出好的计策。决断在于大王，不是我所能定夺的，造山止篑，实在可惜。”北魏皇帝让任祥兼任尚书左仆射，追加开府职务。任祥弃官逃到河北，把持郡府等候神武帝。北魏皇帝就下令凡是北方来的文武官员去留听便，下诏书公布神武帝的罪行，进行北伐神武帝的准备工作。神武帝也停住马宣布：“我碰到尔朱兆专权，便在天下举起义旗，拥戴皇上，忠义之心天地可知，反被斛斯椿等人诬陷，把忠诚节义说成是叛逆。往昔赵鞅发动晋阳的军士，诛杀皇帝旁边的小人。现在我要南渡黄河，只不过是要诛杀斛斯椿罢了。”于是派高昂为前锋，说：“如果采川司空的话，那有今日的举动。”司马子如答复神武帝说：“原来打算立一个弱小的为皇帝，今天的举动就是为了这个目的。”北魏皇帝从关右征兵，征召贺拔胜前往行所，调遣大行台长孙承业，人都督颍川王元斌之、斛斯椿一起镇守武牢，委派汝阳王元暹镇守石济，行台长孙子彦带领前恒农太守元洪略镇守陕地，贾显智带领豫州刺史斛斯元寿讨伐蔡俊。神武帝派窦泰和左厢大都督莫多娄贷文去抵抗贾显智，韩贤去抵挡汝阳王元暹。斛斯元寿的军队投降。窦泰、莫多娄贷文在长寿津和贾显智相遇，贾显智私下里约定要投降，便带着军队退走了。军司元玄发觉后，赶回驻地，要求增调军队。北魏皇帝派大都督侯几绍奔赴前线，在滑台东边展开大战，贾显智带着军队投降，侯几绍阵亡。
七月，北魏皇帝亲自统领大军驻扎在河桥。神武帝在距黄河北十余里的地方，再次派人去表明诚心，北魏皇帝不让使者觐见。神武帝于是带领军队渡过黄河。北魏皇帝向群臣求计策，有的说南去依靠贺拔胜，有的说固守洛河口、决一死战，未能形成一致意见。元斌之和斛斯椿因为争权而不和，于是摆脱斛斯椿直接回到行所，欺骗北魏皇帝说：“神武帝的军队来了！”当天，北魏皇帝逃往长安。二十九日，神武帝进入洛阳，驻扎在永宁寺。
八月初四，神武帝召集百官开会，说：“我侍奉皇上，匡救国家于危乱之中，你们在朝廷时不向皇上进谏，皇上出巡时不陪侍左右，国家安宁时就争宠求富贵，国家危急时就伺机逃跑，作为臣子的节操在哪里？”于是拘捕了开府仪同三司叱列延庆、兼尚书仆射辛雄、兼吏部尚书崔孝芬、都官尚书刘廞、兼度支尚书杨机、散骑常侍元士弼并且处死了他们。由于对皇上不能尽忠，元士弼一家被注销户口流放外地。神武帝认为国事不能荒废，就和众多幕僚商讨，让清河王元直做大司马，住进尚书下舍而按照典制？火断国家大事。清河壬出入称警哔，神武帝对此很是厌恶。不久，神武帝抵达恒农，向两攻下潼关、抓住了毛洪宾。接着向长城进军，龙门都督薛崇礼投降。神武帝领兵退同河东，命令行台尚书长史薛瑜把守潼关，大都督厍狄温把守封陵。在蒲津西岸建城池，镇守华州，任命薛绍宗为刺史，高昂全权处理豫州政务。神武帝从晋阳出兵，到此时为止已经向北魏皇帝致函四十多件，都没有得到肯定的答复。
九月初十，神武帝返回洛阳，又派僧人道荣带着奏书到关中去，还是没有答复。神武帝于是召集众多幕僚和四门者老，讨论推立谁为皇帝的事宜。神武帝认为从孝昌帝丧乱开始，国脉中断，神主没有依靠，国家礼乐败坏。永安帝以孝文帝为父皇，永熙帝却把孝明帝的牌他迁到侧室。功业丧失，国运短促，根源就在这里。因此决定立清河王元亶的儿子元善见为皇帝。大家同意后，便告知清河王元亶。清河王元直说：“天子可以没有父亲，假如立我的儿子为帝，我会毫不怜惜自己的生命去辅佐他。”元善见即位，这便是孝静帝。北魏从此便分裂为两个国家。神武帝考虑到孝武帝已在关中，担心他进逼崤、陕，洛阳又在黄河以南，与梁州边界接近，如果自己回晋阳，那么两边形势便不能兼顾，于是就建议迁都邺城，护军祖莹表示赞同。孝静帝发下诏书，三天后，便起程前往邺城，洛阳城里的四十万人口也狼狈地跟着前行。神武帝留在洛阳处理政事，做完后就回到晋阳。从此国家的军政大事，都归相府处理。以前有童谣说：“可怜青雀子，飞来邺城里。羽翮垂欲成，化作鹦鹉子。”多事的人私下说，雀子指的是东魏皇帝元善见，鹦鹉指的是神武帝。
以前孝昌帝时，山胡刘蠡升自称为天子，定年号为神嘉，住在云阳谷，两边的国土每年都遭到他的侵扰，人们称之为“胡荒”。
孝静帝天平二年正月，西魏渭州刺史可朱浑道元带领部众归附东魏，神武帝接纳了他们。十五日，神武帝率军袭击刘蠡升，大获全胜。二十一日，东魏皇帝下诏予以褒奖，让神武帝当相国，假黄钺，可佩剑穿鞋进宫殿，入朝面见皇帝时不用快步走。神武帝坚决推辞，不接受这种礼遇。
三月，神武帝想把自己的女儿许配给刘蠡升的太子，等待他疏于防备的时机。十五日，偷偷派出军队袭击他。刘蠡升的北部王杀死刘蠡升并把首级送给神武帝。刘蠡升的部众重新立他的儿子为南海王，神武帝进军攻打他，又俘虏了南海王和他的弟弟西海王、北海王，还有皇后公卿以下官员四百多人，胡人、魏人五万户。二十六日，神武帝到邺城朝见皇上。四月，神武帝请求按等级供应迁户的粮食。
九月十四日，神武帝以州郡县的官员大多有违法行为为理由，请求皇上派使者到民间访问百姓疾苦。
孝静帝天平三年正月二十二日，神武帝率领厍狄干等万余骑兵袭击西魏的夏州，不吃熟食，四天就到了。他们把长矛捆在一起作为云梯，夜里悄悄进城擒获夏州刺史费也头斛拔俄弥突，仍然留用他为刺史，把他的部落五千户迁往东魏，留下都督张琼来镇守夏州。西魏灵州刺史曹泥和他的女婿凉州刺史刘丰派使者前来请求归顺。周文帝宇文泰围攻曹泥，用大水灌灵州城，只有四尺见方的地方没有被淹没。神武帝命令阿至罗征发三万骑兵直奔灵州，绕道攻击西魏军队的后部，缴获五十匹马，西魏军队退去。神武帝带着骑兵迎接曹泥、刘丰，把灵州城遗存下来的五千户迁往东魏，恢复曹泥的官职爵位。东魏皇帝下诏加封神武帝为九锡，神武帝坚决推辞，没有接受。
二月，神武帝命令阿至罗进攻西魏秦州刺史建忠王万俟普拨，自己率领大军接应他。
六月二十五日，万俟普拨和他的儿子太宰受洛干、豳州刺史叱干宝乐、右卫将军破六韩常及督将三百多人率领部下前来投诚。
八月十八日，神武帝请求东魏皇帝统一斗、尺，颁行天下。
九月初四，汾州胡人王迢触、曹贰龙聚众谋反，设置百官，建年号为平都。神武帝带兵讨伐，平定了他们的叛乱。
十二月十一日，神武帝从晋阳出发西征，派兼仆射行台汝阳王元暹、司徒高昂等人赶往上洛，大都督窦泰进入潼关。
孝静帝天平四年正月十七日，窦泰的军队被打败，他也自杀了。神武帝驻扎在蒲津，因河水中的冰太薄不能行人，无法前去救援，就班师回归。高昂攻占上洛。