当时北魏朝廷由胡太后把持，胡太后重用宠臣小人，政治腐败不堪，境内内乱不止，朝廷毫无威信。其子孝明帝元诩逐渐年长，对权力被剥夺深感不满，对于胡太后的秽行也极度厌恶。母子矛盾日益尖锐。于是，孝明帝私下密诏尔朱荣进兵洛阳，尔朱荣大喜过望，立即发兵。后党得知风声后首先采取措施，胡太后毒死亲子孝明帝。兴头正盛的尔朱荣闻讯怒不可遏，发表慷慨激昂的宣言，立元子攸为帝，是为敬宗孝庄帝，勤兵拥众，直指京师杀来。胡太后见了尔朱荣还想辩解，昔日连见天颜机会都极少的尔朱荣牛气冲天，拂衣而去，派军士把胡太后和她立的三岁小皇帝扔入黄河淹死。

武泰元年（528年）夏四月丙申，孝文帝元宏之侄彭城武宣王元勰第三子元子攸（507—531年）与兄弟夜北渡河，在河阳与尔朱荣会合。尔朱荣到郊外迎接新皇帝元子攸，把文武百官诱到河阴淘渚（今黄河小浪底）之后，用骑兵团团围住，宣布罪状说：“国家所以衰乱，都是你们的责任。”下令大开杀戒，包括北魏当时第一奇富的丞相元雍、新帝兄弟元劭、元子正等储王在内，两千余高级贵族和高级官员，全被杀死，朝廷为之一空。有了此事，历史上骂名滚滚。“河阴之变”另一个后果，是尔朱荣和北魏朝廷和皇室之间已经没有调和的可能，尔朱荣也注定要成为北魏的乱臣贼子。他没有第二条路可走，而且必须一直下去。尔朱荣当时不是没有考虑篡位，但是当时天下未定，属下意见不一，而且尔朱荣很迷信，派人铸他自己的金像。当时北魏王朝凡做重大抉择时，常常铸金人以卜吉凶。一共铸了四次，金像全部都没有铸成。尔朱荣信任的一个巫师也劝他，说天时人事都不成熟。于是重新迎回孝庄帝还宫，叩头谢罪，率军返回晋阳。

河阴之变之后，北海王元颢都仓惶南奔，投降南朝梁国。后来元颢请求梁武帝萧衍帮助其成为北魏的皇帝。出于战略上的考虑，梁武帝认为这是一个向魏土拓境的大好时机，于是便欣然同意了。陈庆之受任为飚勇将军，送元颢北上洛阳。照理说这是一次具有相当规模的军事行动，可是梁武帝仅仅让陈庆之所部七千人孤军北上，并未在别处派军加以协助，这不由得令人怀疑起梁武帝的真正用意，很有可能梁武帝并不愿花费太多精力浪费在这个北魏的流亡贵族身上，只是想派陈庆之率领少部分军队敷衍一下。不过这不足万人的队伍却创造了一个又一个奇迹。从袭取铚城到夺取洛阳，陈庆之率军共取城32座，作战47次，战无不胜。至此，黄河以南地区全部归附，颂声四起。

此时，北魏将尔朱荣派上了用场。 尔朱荣闻听自己所立的魏庄帝元子攸奔逃于长子（上党县名），赶忙率兵奔赴，并与元颢和陈庆之在黄河两边双方对峙。陈庆之三日十一战，杀伤甚众。尔朱荣当然也不是省油的灯，在陈庆之这里吃了大亏，他马上改变策略。制作了许多木筏，渡过黄河，直接抄袭元颢的本阵。因出其不意，元颢部一战即溃，元颢之子元冠受、陈庆之的部将陈思保，都被擒获。元颢在逃往临颍的路上被抓获，而洛阳随后就失陷了。如此一来，陈庆之率部撤退，尔朱荣派遣贺拔胜率领精兵马队追击陈庆之。正值嵩高河水暴涨，陈庆之军在追兵和大水的冲击下，死散殆尽。陈庆之削发装扮成和尚，只身一人步行逃回梁朝。

在尔朱荣基本平定北方之后，他和孝庄帝矛盾也日益尖锐。北魏朝政均由尔朱荣在晋阳控制。魏庄帝左右大臣、内侍，全是尔朱荣安插的眼线，皇帝一举一动这些人都会禀告给他。而且尔朱荣还要干涉孝庄帝的私人生活。尔朱荣的女儿本是孝明帝的侧妃，但尔朱荣却强迫孝庄帝立她为后。尔朱皇后也不是善茬，经常和皇帝过不去，发脾气耍性子。她常常说：‘我在天子面前放肆一些有什么关系？他本来就是我爹所立，我爹把帝位让给他已经很不错了。

孝庄帝外有强臣逼迫，内有恶后威吓，经常怏怏不乐，随着境内的敌人被消灭，尔朱荣又申请入朝，准备进一步控制中央，为下一步篡位做准备，双方摊牌的时候终于到了。于是孝庄帝开始与一些皇族近臣密谋诛杀尔朱荣，其实做的本不严密，也传到了尔朱荣那里。所以尔朱荣的亲信都劝他抢先下手，但尔朱荣自信得很，认为孝庄帝决计没有这种胆量。堂弟尔朱世隆怀疑庄帝举动有异，自己派人在自家门上写个匿名贴子：“天子与杨侃、高道穆密谋，要杀掉太原王！”然后他自己假装发现匿名信，揭下贴子呈送给尔朱荣。尔朱荣此时没把任何人放在眼里，唰唰几下撕毁匿名贴，往地上狠狠吐了口唾沫：“世隆真是胆小鼠辈，谁敢生杀我的念头！”尔朱荣的妻子也劝他不要去洛阳，但尔朱荣不听。

尔朱荣入朝，当面问起外面传言，孝庄帝说：“外面的人都说您也要杀我，难道是真的？”这样的巧妙反问使尔朱荣无言以对，以后每次入朝觐见，左右从人不过数十，还都空手不带兵器。而帝党方面刺杀尔朱荣的行动却加紧进行。530年九月戊戌日（530年11月1日），孝庄帝埋伏兵士在明光殿东序，然后遣使飞报尔朱荣。声称尔朱皇后刚刚生下太子，皇宫内文武百官络绎不绝地到府上道贺，祝贺尔朱荣荣升为外公。尔朱荣并不起疑，遂进宫入殿。见到孝庄帝，尔朱荣未等开口道喜，忽然见孝庄帝手下两个人手里提刀从殿东门跑进，他马上惊起，直奔御座想挟持孝庄帝抵抗。孝庄帝膝上早已横备一刀，见尔朱荣冲上，直刺入腹，一代英雄应声毙命。众人举刀乱砍，亲信元天穆也死在乱刀之下。跟随尔朱荣入宫的十四岁儿子尔朱菩提以及从人三十多个全被伏兵所杀。