武元衡是武则天伯父武士逸的五世孙。
武元衡考取进士后，曾任华原县令。当时，屯驻畿辅的将领大多恃功骄横，侵害百姓。武元衡不愿意与他们同流合污，便称病弃官而去。
后来，唐德宗知道武元衡有宰相气度，召他进京，升任御史中丞。唐宪宗即位后，提拔武元衡为宰相。武元衡无论在中央或地方都颇有政绩，其主要功绩是坚决打击跋扈的藩镇，维护中央集权。藩镇是唐玄宗设置的，最初只在边境上设置，为的是加强御外能力。
安史之乱后，为了加强地方武装力量，内地也开始设置了。藩镇的长官节度使，往往独霸一方。
安史之乱后，唐代宗以为大功告成，让胜利冲昏了头脑，竟不听老臣之言，下诏大赦天下，对安史降将概不追究，反而加官进爵，姑息养奸。
于是，安史旧将纷纷摇身一变成为唐朝节度使，形成藩镇割据局面。
从此，中央大权旁落，山河破碎，地方尾大不掉。唐室日见衰落，每况愈下，战乱频仍，百姓重陷水火之中。
这些节度使割据一方，俨然是一群土皇帝，欺压百姓，如狼似虎。武元衡与杜黄裳、李吉甫、裴度都是协助唐宪宗削藩的名相，他态度坚决，誓死削藩，反对割据。
唐宪宗元和元年（806），唐宪宗平定了西川节度副使刘辟的叛乱后，藩镇震惊，纷纷要求入朝效忠。
镇海节度使李锜迫于形势，于元和二年九月也请求入朝。唐宪宗准奏，并拜其为右仆射。但李锜并无归顺之心，因而又称疾拖延入朝日期。唐宪宗就如何处理出尔反尔的李锜征询宰相们的意见。郑同意李锜延期入朝；而武元衡说：“李锜必须按期入朝，不得延误。”
武元衡坚持地方必须服从中央的原则。唐宪宗赞同武元衡的意见，下诏敦促李锜立即入朝。李锜拖延的阴谋破产，便公开起兵反叛了。唐宪宗派兵征讨，只用一个月时间就除掉了浙西这一股割据势力。
元和二年十月，唐宪宗让武元衡兼任西川节度使。武元衡到西川后，仅用三年时间，就让百姓生活和民族关系都得到了改善，为朝廷稳定和巩固西南边疆作出了巨大贡献。武元衡在西川任职长达七年之久，元和八年（813）三月被召回中央，担当起对淮西用兵的重任。淮西节度使吴少城、吴少阳和吴元济相继以蔡州为老巢，盘踞淮河上游地区三十多年。他们蓄意谋反，招纳亡命无赖之徒，积蓄力量。朝廷管不了，蔡州成了国中之国。他们时常派兵四处掠夺烧杀，远至千里之外，甚至到达洛阳附近。
蔡州百姓长期处在这伙人的暴虐统治之下，生活在水深火热之中。吴少阳死后，他的儿子吴元济接任。吴元济比他父亲还跋扈。朝廷派去吊祭吴少阳的使者都被他赶了回来。唐朝决定用兵淮西，引起恒州王承宗、郓州李师道等节度使的恐惧。
他们为了救蔡州，把刺杀武元衡等主战派大臣当做救蔡的重要策略。李师道及其幕僚认为：“天子所以锐意诛蔡者，元衡赞之也，请密往刺之。元衡死，则他相不敢主其谋，争劝天子罢兵矣。”
唐宪宗元和十年（815）六月三日凌晨，宰相上朝的时辰到了。武元衡刚走出靖安坊东门时，突然听到黑暗之中有人高呼一声：“灭烛！”侍卫手中的灯笼顿时熄灭，周围一片漆黑。前导卫骑喝问：“什么人？要干什么？”这时，暗中突然飞来一只箭，把前导卫骑射下马来。事发突然，只见白刃闪闪，暗箭纷飞，武元衡的卫士抵挡不住，四下逃散。骑在马上的武元衡正惊愕间，嗖的一声从树上跳下一个人，手挥一根大棒击中他的左腿。他的左腿顿时骨碎，疼得他叫了一声。
接着，又有几个人从树上跳下，抓住武元衡的马缰，牵行十余步，举烛看清是武元衡之后，当胸一刀将他刺死，然后又剁下他的头颅，包起来回去报功了。除暴抗恶的一代贤相，就这样惨死在暴徒手里了。
唐宪宗元和九年（814）十月，唐宪宗任命严绶为申、光、蔡招抚使，督率诸路兵马讨伐吴元济。
不料，严绶庸懦无能，又有宦官监军，打了胜仗归自己，打了败仗推在诸将头上。以至诸将不肯用力，士气低落，军心涣散。出师三年，毫无进展。
元和十一年（816）正月，唐宪宗任命李愬为唐、随、邓三州节度使，继续组织军队，从南路讨伐吴元济。
在李愬率领下，士兵抱着必死的决心，有进无退，终于一举成功，活捉吴元济。
元和十二年十一月，吴元济被解到京城。唐宪宗下令将他押到长安独柳树下斩首，为武元衡报了仇，为患三十多年的淮西割据结束了。