后来定居晋阳的上党人，称自己的住地为“上党坊”，神武皇帝其实就住在这里。等到从那里过的时候，神武皇帝在那里住了六十多天才离开。快出滏口时，神武皇帝更加严格地管束自己的部下，做到秋毫无犯。准备过麦地时，神武皇帝牵着马步行。远近的老百姓听说后，都称赞高仪同治军严整，更是心悦诚服地归顺过来。神武皇帝于是带兵前进，驻扎在邺城，向相州刺史刘诞借粮食，刘诞不给。车营有租米，神武皇帝就将它夺为己有。
北魏普察元年二月，神武皇帝领军驻扎在信都，高乾、封隆之打开城门等待着，于是占据冀州。当月，尔朱度律废除元哗而拥立节闵帝，想要拘押神武皇帝。三月，尔朱度律就对节闵帝说，封神武皇帝为渤海王，征召神武皇帝入朝觐见皇帝。神武皇帝辞，没有前往。
旧月癸巳，又追加任命神武皇帝为东道大行台、第一镇人酋长。庞苍鹰从太原赶来投奔，神武皇帝用他做行台郎，很快又任命他为安州刺史。神武皇帝自己率兵向山东进发，招收士人，修整兵甲，禁止士兵抢掠，老百姓的心都归向他。神武皇帝又伪造书信，说尔朱兆打算将六镇人分配给契胡为部曲，老百姓又愁又怒。于是又制作并州的印符，征兵讨伐步落稽。
神武皇帝发动了一万名士兵，准备送他们起程，孙腾、尉最假意请求推迟五天再动身，这样反复进行了几次。神武皇帝亲自送他们到城郊，流着眼泪，拉着他们的手与他们道别。将士们都感动得大哭起来，哭声震天动地。神武皇帝劝慰他们说：“我与你们都是流离失所的人，情分上如同一家人，想不到大王突然征召你们。一直向西吧，依法令规定是死罪，延误军期也是死罪；被分配给契胡吧，还是难免一死。怎么办？”六镇人说：“只有反叛了。”神武皇帝说：“造反是应付危急的好办法，但是要推举一个人为领导。”众人都愿意听从神武皇帝的指挥。神武皇帝又说：“你们这些乡里人难以控制，难道没有见到葛荣的下场，他虽然拥有百万人的队伍，但因为没有制订法律条规，最后自取灭亡。现在你们推举我为领导，就要和以前葛荣的做法有所不同，你们不许欺负汉人，不能违反军令，要把你们的生死交给我来安排，不然，就会被天下人耻笑。”众人诺诺连声，愿意生死由命。神武皇帝假装无可奈何。第二天，杀牛宰羊犒劳全军将士，宣布征讨尔朱兆的想法。封隆之进言说：“这真是千载难逢的好机会，真是天下人的大幸事。”神武皇帝答复说：“讨伐****，是顺民心的好事；挽救艰危的时局，是伟大的事业。我虽然没有什么武略，但万死不辞，我怎么能推托呢？”六月，神武皇帝在信都树起义旗，但还没有公开背叛尔朱兆。等到李元忠和高乾平定殷州，提着尔朱羽生的脑袋前来拜见，神武皇帝摸着胸口说：“造反造定了。”就让李元忠担任殷州的刺史。这时，神武皇帝军队的士气大振，他就上书揭发尔朱兆的罪行，但尔朱世隆等人扣压神武皇帝的上书没有禀告节闵帝。八月，尔朱兆攻占殷州，李元忠逃归神武皇帝驻地。
孙腾认为朝廷与外界隔绝，消息不通，如果不暂时立一个天子，那么众人的期望就没有一个指向。十月，尊奉章武王元融的儿子渤海太守元朗为皇帝，定年号为中兴，这便是北魏的废帝。当时尔朱度律、尔朱仲远的军队驻扎在阳平，尔朱兆与他们兵合一处。神武皇帝采用窦泰的计谋，施反间计，尔朱度律、尔朱仲远中计，就不战而返。神武皇帝于是在广河击败尔朱兆。十一月，进攻邺城，相州刺史刘诞闭城固守。神武皇帝命令士兵堆土为山丘，并挖地道，在里面竖起大木柱，然后一齐点火焚烧这些大柱子，城池坍塌下陷。麻祥当时是汤阴县令，神武皇帝喊他“麻都”，麻祥羞愧地逃走了。永熙元年（公元532年）正月，神武皇帝攻陷并进驻邺城。废帝晋升神武皇帝为大丞相、柱国大将军、太师。此时，青州也树起义旗，大都督崔灵珍、耿翔都派使者前来要求归附，汾州刺史刘贵弃城来降。闰三月，尔朱天光从长安、尔朱兆从并州、尔朱度律从洛阳、尔朱仲远从东都出发在邺城会合，号称兵力二十万，沿着洹水布阵。节闵帝委任长孙承业为大行台总督，全面负责军务。神武皇帝命令封隆之固守邺城，自己带兵在紫陌驻扎。这时神武皇帝军中战马不足二千匹，步兵不到三万人，与尔朱兆军队相比，众寡悬殊。神武皇帝便在韩陵列圆形阵，把牛和驴放在军阵后面连结起来以堵塞自己军队的退路，这使得将士都有拼死一战以求生存的意愿，他们四面出击，攻打敌人。尔朱兆责备神武皇帝背叛自己。神武皇帝答道：“我们本来要同心协力，共同辅佐王室，可现今皇上在哪儿？”尔朱兆说：“孝庄帝冤杀了尔朱荣，我只不过是替他报仇罢了。”神武皇帝说：“我从前亲耳听过尔朱荣的宏图大计，当时你就站在窗前，你能说那些话里不带反叛之意？况且皇上杀死臣下，有什么仇可报的呢，我们之间的情就到此为止了。”言毕，双方交战，神武皇帝大败尔朱兆。尔朱兆对着慕容绍宗，敲打着胸口说：“我不听你的话，以至落到今天的下场。”他准备撇下大军逃走。慕容绍宗将前军旗帜移到军阵后，吹响鼓角，集合残兵，向西撤退。高季式带着七个骑兵追赶尔朱兆，过野马岗时，与尔朱兆相遇。
高昂站在高处没有看到高季式，哭着说：“我失去亲弟弟了！”夜很深了，高季式才返回，血染衣袖。斛斯椿昼夜兼程抢先占据河桥。普泰元年十月，岁星，荧惑、镇星和太白聚集在觜位，亮品品的。太史占卜说，定会有王者兴起。
当时，神武皇帝在信都举事，已经击败尔朱兆等部。四月，斛斯椿拘押尔朱天光、尔朱度律送往洛阳。长孙承业派遣都督贾显智、张欢到洛阳，拘捕尔朱世隆、尔朱彦伯并杀死他们。
尔朱兆逃回并州。仲远逃往粱州，很快死在那里。这时，凶恶的****已经被铲除，朝廷喜悦。
当初，开战前的一个月，章武人张绍夜里突然被儿个骑兵劫持，翻过城垣，来到一个大将军面前，命令张绍做向导，领军向邺城进发，说是要帮助朝廷除去残贼。张绍回头看时，兵士多得无法测算，但却整齐迅捷不出一点声响。
快到邺城时，才放了张绍。到双方交战的时候，尔朱兆的将士看见神武皇帝的骑兵步卒四面合围在军阵前，大概是得到了神仙的帮助。
紧接着，神武皇帝到洛阳，废除节闪帝及中兴主的帝号，立孝武为帝。孝武帝即位后，任命神武皇帝为大丞相、天柱大将军、太师，世袭定州刺史，增加封地，和以前的封地一起总共有十五万户。神武皇帝辞去天拄大将军官职，让皇帝给自己减去五万户封地。过了几天，返回邺城，北魏孝武帝在乾脯山为他饯行，拉着他的手相互道别。
七月，神武皇帝率领军队往北讨伐尔朱兆。封隆之进言说：“侍叶1斛斯椿、贺拔胜、贾显智等人以前都是尔朱兆的手下，后来都反咬尔朱兆一口，现在他们留在京师任职，受宠遇，定会制造事端。”神武皇帝对此非常赞同，便把天光、度律送回京师，杀掉他们。于是神武皇帝从滏口进军。尔朱兆大肆洗劫晋阳后，退往北边，企图固守秀容，井州得以平定。神武皇帝认为晋阳四面都很险要，就在晋阳修建大丞相府住了下来。尔朱兆到秀容后，分派兵力防守各处险要之地，时常出兵抢掠骚扰。神武皇帝扬言讨伐尔朱兆，军队出动过四次但都中途撤了回来。尔朱兆放松警惕。神武皇帝估摸尔朱兆在新年会开宴吃喝，就派窦秦带领精锐的骑兵急奔秀容，一天一夜赶了三百多里，神武皇帝率领大军跟在后面。第二年正月，窦泰悄悄地进到尔朱兆的庭院里。尔朱兆的将士由于大吃大喝，十分懒惰，突然看到窦泰的骑兵，吓得四散而逃。窦泰带兵追赶，在赤洪岭击溃尔朱兆军。尔泉兆自缢而死。神武皇帝亲自到赤洪岭，用厚礼安葬尔朱兆。慕容绍宗带领着尔朱兆的妻室子女和残余的部众固守乌突城。
后来他还是投降了，神武皇帝认为慕容绍宗是忠义之士，对他十分宽厚。
神武皇帝进入洛阳，尔朱仲远部下都督桥宁、张子期从滑台赶来归附，神武皇帝认为他们助纣为虐，并且反复无常，就杀死二人。
斛斯椿因此心中不安，就和南阳的王宝炬以及武卫将军元毗，魏光、王思政一起在孝武帝而前诋毁神武璺帝。含人元士弼又上奏说神武皇帝接受皇上诏书态度极不恭敬。先前孝武帝对贺拔岳怀有疑心。当初，即孝明帝当政时，洛阳城中有二拔互相搏击，就有谣言说：“铜拔敲打铁拔，元家的天下将灭亡。”多事的人认为二拔指的是拓拔和贺拔，说他们都有衰败的迹象。当时司空高乾密函告知神武皇帝，称皇帝有疑心，神武皇帝将此密函上呈。孝武帝就杀掉高乾，又派东徐州刺史潘绍业持密诏让长乐太守庞苍鹰杀掉高乾的弟弟高昂。高昂听到他哥哥的死讯，设长矛刺柱，埋伏一批精壮的士兵在路旁，抓住了潘绍业，搜出他藏在衣领里的密诏，就投奔神武皇帝。神武皇帝抱着他的头说：“天子冤杀了司空！”马上派人用白色的武幡来慰问他的家属。这时，高乾的二弟高慎在光州当官，为政苛刻，还纵容部下敲诈勒索，孝武派人来接替他们的官职。高慎听到不好的消息，准备逃往梁州。他的部属说：“你家有功于朝廷，一定不会受到株连。”高慎就穿着破衣推着鹿车回到渤海。路上碰到使者，就和他一起投奔神武皇帝。这样，孝武帝和神武皇帝之间产生了隔阂。
阿至罗人在正光年以前一直向北魏称臣，自从朝廷发生多次事变后，都叛变了。神武皇帝派使者去招降结纳他们，就又归顺了。先前，孝武帝下诏说贼寇平定了，废除行台。到这时，因为异族纷纷归附，就重新任命神武皇帝为大行台，给予他相机处事的权力。神武皇帝常常给异族人送去粮食衣服，旁人认为这是浪费，得不着好处，神武皇帝不听，一如既往地安抚他们。他们的首领吐陈等人感激神武皇帝的恩惠，都愿听从神武皇帝的指挥。后来他们在救援曹泥、攻取万俟受洛干的战斗中发挥了巨大的作用。河西的费也头人纥豆陵伊利占据河池，依仗天险，拥有大量的部众，神武皇帝派长史侯景多次去招安，但他不愿归顺。
天平元年正月王辰，神武皇帝在河西讨伐费也头虏纥豆陵伊利，杀死了他，把他的部众迁居到河东。
二月，永宁寺九层浮图塔遭受火灾。接着有人从东莱来，说火烧佛塔时海上人都在海中看到了，很快海上雾起，火才灭掉。有人认为这是天意，好像是说永宁寺遭火灾，北魏皇朝不得安宁，飞入东海，渤海回应了。
北魏皇帝已经有疑心。当时侍中封隆之私下告诉孙腾，封隆之的妻子死后，皇上想把妹妹嫁给他。孙腾不太相信，内心嫉妒封隆之，就向斛斯椿透露他的话。斛斯椿又把它报告给皇上。还有一次孙腾带武器进禁省，擅自杀死了御史。封隆之就和孙腾两人一起逃走，投奔神武皇帝。封隆之向神武皇帝诉说北魏皇帝在自己的面前鞭打舍人梁续、光禄少卿元子干卷起袖子帮着殴打梁续的事情，并对孙腾说：“告诉你的高王爷，元家儿的拳头就是这样有力。”领军娄昭借口有病，辞官回到晋阳。北魏皇帝便让斛斯椿兼任领军，让他安排诸将以及河南、关西等地的刺史事宜。华山王元鸷被派到徐州，神武皇帝派邸珍夺走了他的钥匙。建州刺史韩贤、济州刺史蔡俊都是神武皇帝的结义兄弟，北魏皇帝非常敌视他们，因而要撤裁建州以免除韩贤的官职，派御史中尉綦俊去侦察蔡俊的犯罪事实，任命开府贾显智为济州刺史。蔡俊赶走了他们，北魏皇帝越发恼怒。
五月，皇上下诏说准备讨伐句吴，征发黄河以南诸州的兵士，增加皇宫的宿卫，派人守护河桥。六月，北魏皇帝秘密诏告神武皇帝：“宇文黑獭自从平定秦陇等地后，多次提出非分的要求，免不了变动欺诈，请你筹划一下对付之策。但是宇文黑獭所上的表启中还没有暴露出彻底的反叛之心，讨伐之事不可匆匆决定，因此召集大臣，商议是否可行。都说以南征为名，内外戒严，一来防备宇文黑獭突然举事，二来可以威逼吴、楚。”此时北魏皇帝准备讨伐神武皇帝，而神武皇帝包在作军队部署，北魏皇帝担心神武帝生疑，所以下了这道诏书。神武帝上书说：“荆州同蛮地相连，与京畿相距不远，关陇等地依仗地处边远，想要谋叛。我现在就悄悄领兵三万，准备从河东渡过黄河；又命令恒州刺史厍狄干、赢州刺史郭琼、汾州刺史斛律金、前武卫将军彭乐带兵四万，从来违津渡过黄河；征调领军将军娄昭、相州刺史窦泰、前瀛州刺史尧雄、并州刺史高隆之统兵五万去征讨荆州；委派冀州刺史尉景、前冀州刺史高敖曹，济州刺史蔡俊、前侍中封隆之带领山东兵七万、轻骑兵五万去讨伐江左句吴。他们都控制自己的部队，认真听从我的指挥。”北魏皇帝感觉事情有变故，就拿出神武帝所上的表，命令百官评议，想要制止神武帝各路兵马的行动。神武帝也召集在州郡的幕僚，让他们广泛发表意见，再用表的形式上奏北魏皇帝。他仍然用真诚的誓言表明自己的忠心蜕：“我遭到小人们离间，陛下一旦怀疑，那我会获猖狂不敬的罪名，就会像尔朱兆那样受到讨伐。臣下如果不竭诚尽忠、胆敢辜负陛下的话，那么就让我身受天祸、断子绝孙。