六月庚子日，在信都举起义旗，但还没有公开背叛尔朱氏。到李元忠与高乾平定殷州，斩尔朱羽生头颅前来拜谒，神武捶胸道：“今天反定了!”于是便委元忠为殷州刺史。此时，军力猛增，乃上书揭发尔朱氏罪行，但世隆等人扣压上书没有向节闵帝禀告。八月，尔朱兆攻克殷州，李元忠逃到了神武驻地。孙腾认为朝廷隔绝，不临时立一天子，那么众望就无所归依。十月六日，奉章武王融之子渤海太守朗为皇帝，年号中兴，这便是魏朝的废帝。时度律、仲远军队驻扎在阳平，尔朱兆与他们见了面。神武采用窦泰计策，实行反间，度律、仲远不战而返，神武便在广阿打败了尔朱兆。十一月，进攻邺城，相州刺史刘诞闭城固守，神武命令兵士堆起土山，挖掘地道，并到处立起大木柱，之后一齐点火焚烧这些柱子，城陷到了地下。这时麻祥为汤阴县令，神武喊他“麻都”。麻祥羞愧，逃走了。永熙元年(公元532年)正月十七，攻克邺城，并占领了它。废帝晋升神武为大丞相、柱国大将军、太子太师。与此同时，在青州树起义旗的大都督崔灵珍、大都督耿翔一齐派遣使者请求归附，行汾州剌史事刘贵弃城并来投降。闰三月，尔朱天光从长安，尔朱兆由并州，度律从洛阳，仲远由东都出发会集邺城，号称兵众20万，依洹水布置战阵，节闵帝委派长孙承业为大行台总督其事。神武命令封隆之固守邺城，自己率兵离邺屯驻紫陌。此时神武拥有的战马不足两千，步兵不满三万，众寡悬殊。神武在韩陵布置圆的军阵，连结牛驴阻塞了归路，使得将士都有了决一死战的斗志，四面八方攻打敌人。尔朱兆谴责神武叛逆。神武称：“戮力同心，为的是共同辅佐王室，如今皇帝在哪?”尔朱兆答：“永安皇帝冤杀天柱，我只不过是替他报仇罢了。”神武道：“我往昔亲耳聆听了天柱的大计，当时你就站在门前，难道能讲不反的话吗?再说君杀臣，有何仇可报?今天我们就断绝关系吧。”言毕，双方交战，神武大胜。尔朱兆对着慕容绍宗拍打着胸脯说：“我不听您的话，终于得到了如此下场。”说着就想轻装逃跑。绍宗将前军旗帜移后，吹响鼓角，收聚残兵，组成军队的阵势向西撤去。高季式率七骑追击，翻过野马岗，碰到了尔朱兆。高昂在很高的地方都看不到季式，哭泣着说：“我失掉了亲弟弟啦!”夜很深了，季式才回来，血流满衣。斛斯椿反道而行先占据了河桥。当初，即晋泰元年(公元531年)十月，岁星、荧惑、镇星、太白相聚于觜，亮惨惨的。太史占卜后说：“王者兴起之兆。”此时神武从信都起军，此时已打败了尔朱兆等部。四月，斛斯椿捉住天光、度律解送到了神武那里。长孙承业派遣都督贾显智、张欢入洛阳，活捉了世隆、彦伯。并开刀问斩。尔朱兆逃到并州。仲远跑往梁州，不久就死在了这里。是时凶暴已除，朝廷喜悦。当初战事未起的前一个月，章武入张绍半夜里突然被几位骑士挟持翻过城墙，来到一大将军面前。大将军命令张绍做向导。领兵往邺，为的是辅佐朝廷除去残贼。张绍回过头来看时，士卒极多，但却异常整肃没有丝毫声响。快到邺城了，才放他回家。到交战这天，尔朱氏军人见军阵外神武的骑兵步卒四面逼近，大概是得到了天神的帮助。
紧接着神武就进入了洛阳，废掉节闵帝和中兴主而立孝武。孝武即位，授神武大丞相、天柱大将军、太子太师、世袭定州刺史，增加封地连前累计15万户。神武不接受天柱大将军之职，并请求减少五万封户。还邺，魏帝在乾脯山摆设告别宴席，同神武手拉手相互道别。七月壬寅日，神武率部北伐尔朱兆。封隆之说：“侍中斛斯椿、贺拔胜、贾显智等人以前服侍尔朱氏，都是忘恩负义之徒，现在住在京城，受宠遇，一定会制造事端的。”神武很是赞同这一看法，押解天光、度律来京师后，予以处死。于是神武从滏口进入。尔朱兆大肆抢掠晋阳，北保秀容。平定并州。神武认为晋阳四周阻塞，就将大丞相府安置到了这里。尔朱兆已经到了秀容，分兵把守险要之处，时常派兵骚扰。神武宣言讨伐，却是干打雷不下雨，因此尔朱兆放松警惕。神武估摸到新年时尔朱兆要宴会，就派遣窦泰率领最精锐的骑兵急奔秀容。一天一夜跑了300多里，接着神武又派出主力紧随其后。二年正月，窦泰悄悄地进到了尔朱兆的庭院之中。尔朱氏的兵士十分的慵懒，猛然看到窦泰的骑兵，都惊慌而逃，追赶到赤洪岭，打垮了他们。尔朱兆上吊自杀，神武亲临丧场，用厚礼安葬。慕容绍宗带着尔朱荣的妻、子和剩余的部众固守乌突城，投降后，神武认为他有义，待其十分的厚重。
神武占据洛阳后，尔朱仲远部下都督桥宁、张子期从滑台赶来归附，神武认为他们助桀为虐，而且反复无常，就杀掉了他们。斛斯椿因此内心恐惧，就与南阳王宝炬及武卫将军元毗、魏光、王思政在魏帝面前诬陷神武。舍人元士弼又奏报神武接受诏书时极不恭敬。先前魏帝对贺拔岳有疑心。孝明帝时，洛阳城中两拨互相搏击，谣言说：“铜拔打铁拔，元家世将败亡。”好事者附会二拔为拓拔、贺拔，讲的是这两家都即将衰败的征兆。此时司空高乾密函告知神武，称魏帝贰心，神武就将此密信上呈。魏帝就杀了高乾，又遣东徐州剌史潘绍业密令长安太守庞苍鹰杀掉高乾的弟弟昂，昂早就听到兄遇害的消息，用长矛刺柱，在路旁埋伏壮士活捉了潘绍业，并从其身上搜到了魏帝敕书之后，前来投奔神武。神武抱着高乾的头颅，哭着说：“天子冤杀了的司空!”马上让人用白武幡安慰其家属。这时高乾的另一个弟弟高慎在光州，为政严猛，又纵容部下巧取豪夺，魏帝撤了他的职。高慎听到消息，打算逃亡梁州。其部将劝慰道：“您有大功于国，不一定受株连。”高慎就穿着破衣推着小车回到渤海。路上遇到使者，就跟着投奔了神武。从此魏帝与神武有了隔阂。
阿至罗人正光以前常向魏称臣，自从朝廷多事，都叛变了。神武派遣使者招纳，他们就归顺了。先前，魏帝诏令平定贼寇后，罢除行台。到那个时候，异族纷纷归附，又授神武大行台，给予相机处分的权力。神武送给异族人粮食衣服，旁人认为这是浪费，得不到益处，神武不听，一如既往地进行安抚。酋帅吐陈等人感恩不尽，都愿意听从指挥，救曹泥，取万俟受洛干，起了极大作用。河西费也头人纥豆陵伊利盘据河池，拥众恃险，神武虽多次派遣使者招附，但他却不顺从。
天平元年(公元534年)正月初九日，神武率军前往河西，征讨费也头人纥豆陵伊利，取胜后，将其部众迁往河西。
魏帝心中有异，时侍中封隆之私底下对孙腾说，隆之妻亡，魏帝想把妹妹嫁给他。孙腾不信，但内心生起嫉妒，就把这件事偷偷地告诉了斛斯椿。斛斯椿向魏帝做了报告。另外孙腾带兵器进禁省，擅自杀了御史。两人同时逃走，投奔神武而来，向神武诉说魏帝在自己面前殴打舍人梁续，光禄少卿元子干捋袖伸臂跑来帮忙，并对孙腾说：“告诉你的高王，元家儿拳就这个样子。”领军娄昭托病回到晋阳。魏帝就让斛斯椿兼任领军，分别安排诸将以及河南、关西等地剌史。华山王鸷在徐州，神武派邸珍夺走了他的钥匙。建州刺史韩贤、济州刺史蔡俊协同神武举义，魏帝对他们极其仇视。因此裁撤建州剥夺韩贤的要职，命令御史中尉綦俊侦察蔡俊的犯罪事实，派开府贾显智做济州刺史，蔡俊不服，魏帝愈加恼怒。
五月魏帝下诏，称要征讨句吴，调集河南各州兵士，增加皇宫宿卫，派人守护河桥。六月初六日，魏帝秘密诏令神武：“宇文黑獭自从平定秦、陇之后，多有非分之求，倘有变动欺诈，务请策划处理。不过，宇文氏的表、启之中还没有暴露出彻底的反叛之心，攻讨之事不可匆匆决定，因此召集大臣，商议是否可行。都说以南伐为名，内外戒严，一来防备黑獭突然起事，二来可以威逼吴、楚。”此时魏帝准备攻打神武，正在调兵遣将，担心神武怀疑，所以下诏解释。神武则上书说：“荆州同蛮地相接，距畿服较近，关陇依仗边远，欲有逆谋。臣现在悄悄领兵三万，拟从河东渡过黄河；又命令桓州刺史库狄干、瀛州刺史郭琼、汾州刺史斛律金、前武卫将军彭乐统兵四万，从来违律渡河；派遣领军将军娄昭、相州刺史赛泰、前瀛州刺史尧雄、并州刺史高隆之率兵五万，攻打荆州；调集冀州刺史尉景、原冀州刺史高敖曹、济州剌史蔡俊、前侍中封隆之带兵七万、突骑五万，进军江左。都必须严格约束部众，认真听从指挥。”魏帝感觉有异。就拿出神武的上表，命令百官评议，希望能制止神武各路兵马行动。神武也马上召集在州郡的僚佐，请他们广泛发表意见，再以表的形式上奏魏帝。依然用真诚的誓言表白自己的忠心：“臣遭小人离间，陛下万一怀疑，其桀傲不驯之罪，就会像尔朱氏那样受到诛讨。臣如果不尽诚竭节，胆敢辜负陛下的话，那么就使身受天祸，断子绝孙。陛下如果相信臣的赤心，不兴干戈，就该将一二佞臣逐出朝廷。”二十日，魏帝选录在京文武大臣的议论再次回答神武，让舍人温子升起草诏令。子升迟疑不决未敢动笔。帝坐在胡床上，变了脸色，拔出长剑威胁。子升这才拿起笔来。
当初，神武从京师出发拟将北行，认为洛阳久经战乱。王气已尽，即便有山河之险，但土地狭窄，赶不上邺地，因此请求迁都。魏帝道：“高祖定鼎河洛，为永久的基地，规划营建，一直到世宗朝才告结束，王既然有功于国，就应该遵从太和旧典。”神武听从了诏令，到此时，又旧事重提。调遣三千骑兵镇守建兴，增益河东及济州的军队，规定以白沟为界，所有船只不准入洛，各州和籴粮食全部运送邺城。魏帝又诏令神武。“王若顺从民心，杜绝议论，唯有撤退河东之兵，罢除建兴之戍，送归相州之粟，追还济州之军，命令蔡俊辞职，打发邸珍离徐，止戈散马，各治家业，所须粮食，另请转送。那么小人就会闭口，怀疑也就不会产生了。王在太原高枕无忧，朕在京洛无为而治。永不举足渡河，互不再动干戈。王若挥军南进，问鼎轻重，朕虽不武，欲止不能，一定要为社稷宗庙考虑，筹划出最好的计策。决策由王，非朕所能定夺，造山止篑，实在可惜。”此时魏帝让任祥兼任尚书左仆射，加开府仪同三司，任祥弃官逃到河北，占据地盘等候神武。魏帝于是下令凡是北方的文武官员去留听便，下诏公布神武罪行，为北伐筹划营谋。神武也停马宣言，说：“今尔朱氏专权，我等举起义旗，辅佐皇上，义贯幽明，反被斛斯椿诬陷，把忠诚说成了叛逆。古代赵鞅兴晋阳之兵，诛杀君侧的恶人。今日南进，只不过是声讨斛斯椿而已。”委任高昂为前锋，说：“如果听了司空的话，那会有今日的举措!”司马子如回答说：“原本打算立一弱小者为帝，今天的行动就是为了这个目的。”魏帝向关右征兵，召请贺拔胜赶往行在，派遣大行台长孙承业、大都督颖川王斌之、斛斯椿一同镇守武牢，汝阳王暹守石济，行台长孙子彦率领前恒农太守元洪略镇陕，贾显智带豫州剌史斛斯元寿讨伐蔡俊。神武指派窦泰和左厢大都督奠多娄贷文抗击显智，韩贤抵挡汝阳王暹。斛斯元寿部投降。窦泰、贷文在长寿津与贾显智相遇。显智秘密谈妥了投降事宜，就率众撤走。军司元玄发觉盾。赶回行在，请求增兵。魏帝调遣大都督侯几绍奔赴前线，两军便在滑台东侧大战，显智带领兵士投降，侯几绍阵亡。
七月，魏帝亲自带领大众屯驻河桥。神武在距河北十余里的地方，再次派人表明诚意，魏帝不睬。神武就率军渡过黄河。魏帝向群臣问计，有的说往南投奔贺拔胜，有的说往西占据关中，有的说固守洛口决一死战。何去何从，无法决定。元斌之与斛斯椿因争权夺利，关系不洽，斌之留下斛斯椿抄小路跑回，蒙骗魏帝说：“神武的兵来了!”当天，魏帝逃往长安。己酉日，神武进洛阳，暂居永宁寺。
神武认为不能错过大好失机，便同百官商议，任命清河王亶为大司马，居尚书下舍而秉承意旨来决断大事。王出入称警跸，神武讨厌。不久，神武抵达恒农，于是向西攻下了潼关，活捉了毛洪宾。进军长城，龙门都督薛崇礼投降。神武率部后退，驻扎河东，命令行台尚书长史薛瑜守潼关，大都督库狄温守封陵。筑城蒲津西岸以守华州，便命令薛绍宗做刺史。高昂行豫州刺史事。神武从晋阳出发，到此时为止已向魏帝致函四十余通，但都没有得到答复。九月初十日，神武返回洛阳，又打发僧人道荣奉表入送关中，仍无答复。于是聚集百官、沙门、耆老，议论立谁为帝。神武认为从孝昌丧乱开始，国脉中断，神主无依，昭穆失序，永安帝以孝文帝为伯考，永熙帝迁孝明帝神主于夹室，功业丧失福佑短浅，根源就在这里。因此决定立清河王长子元善见。大家意见一致，便向清河王报告。王说：“天子无父，若立我儿，我会毫不悯惜自己的生命。”元善见即位。这就是东魏史上的孝静帝。从这时起，魏一分为二了。神武考虑到魏帝跑到了关中，担心他进逼崤、陕，洛阳又在黄河之外，接近梁境，如若进攻晋阳，两边不能很好衔接，就动议迁都于邺，护军祖莹赞同。诏书下达三日，车驾出发，户口四十万也狼狈上路。神武留在洛阳处理事务，事情办完后就回到了晋阳。从此开始，军国大事，全归相府处理。
天平二年(公元535年)正月二十二日，魏帝下诏褒奖，任命神武为相国，授黄金装饰的斧子，佩剑着鞋进宫殿，朝见不快步地走。神武坚辞不受。
三年(公元536年)正月二十二日，神武统领库狄干等万余骑兵偷袭西魏的夏州，不吃熟食，四天就赶到了。捆绑长矛做成云梯，深夜攻进城里，活捉了刺史费也头斛拔弥俄突。仍然委任他做刺史。留都督张琼镇守夏州，将其部落五千多户迁往东魏。十二月二十五日，神武从晋阳出发进行西征，命令兼仆射行台汝阳王遏、司徒高昂等人急赴上洛，大都督窦泰从潼关进发赶往此地。
四年(公元537年)正月十七日，窦泰军败自杀。神武宿营蒲津，因冰薄不能渡河无法支援，便班师回归。高昂攻克上洛。十月十八日，神武西讨，从蒲津渡河，有众20万。周文在沙苑布阵。因地形险峻，神武率部稍作退却，西魏军呐喊着发起冲锋，东魏军大败，丢弃武器盔甲18万余件，神武骑着骆驼逃跑，又坐船回到了黄河东岸。
元象元年(公元538年)三月初二日，神武坚决要求解除丞相之职，魏帝表示同意。七月二十五日，行台侯景、司徒高昂在金墉围住了西魏大将独孤信，西魏帝以及周文都跑来救助。大都督库狄干率领诸将作为前锋，神武统众紧随其后。八月初四日，战于河阴，东魏大败西魏军，俘虏数万。司徒高昂、大都督李猛、宋显阵亡。西魏军失败，独孤信率先跑入关内，周文命令都督长孙子彦保守金墉，烧燃军营后就逃走了。神武派人追赶到崤，没有追上只得返回。早些时候，神武估计西魏军会来侵犯，率众从晋阳出发，抵孟津，还没有渡过黄河，交战的双方互有胜负。不久，神武过河，长孙子彦弃城逃走，因此神武毁掉了金墉城。