原来，元封五年（公元前106年），大将军卫青病逝后，皇后卫子夫和太子刘据就失去了最有力的后援。卫子夫皇后的位子虽在，却很少见到皇帝，此时的汉武帝早已流连在那些年轻貌美的嫔妃身边了，对年老色衰的卫子夫已经没有了兴趣。而同时，太子和汉武帝由于观点不一致，再加上宫中好事者的参与，他们的关系也到了僵持阶段。后来，佞臣江充通过制造“巫蛊事件”使武帝和太子发生了父子相残的悲剧。
因为这次事件，太子最后兵败自杀，皇后卫子夫，即太子的母亲也自杀身亡。虽然后来经过调查，武帝明白太子的行动是被逼上绝路，并不是阴谋造反，但是死掉的人是不能重生了，武帝为自己的冲动内疚，命建思子宫，在太子殉难的湖县筑归来望思之台。虽然他已经意识到自己的错误了，但是他最后并没有提及卫皇后的安葬事宜。他不发话，那些属下自然没有人敢擅自做主。这样，卫子夫从此没有了入帝陵陪伴君王的资格。
对于刘彻的第一位皇后陈阿娇，早在卫子夫之前，汉武帝已经把她打入冷宫，让其自生自灭，自然没有什么资格入住茂陵。
除了这两位皇后，另两个女人为什么也没有资格陪葬汉武帝呢？
在卫子夫皇后自杀之前的两三年，一次武帝巡行至河间，偶见一美丽少女，武帝被她的美丽所倾倒，便带回了宫。进宫不久，这个少女就为六十四五岁的刘彻生下了最小的孩子刘弗陵，并因此晋封为婕妤，号钩弋夫人。可是等到刘弗陵长到五六岁时，越发的聪明可爱，让刘彻动了要册立他为太子之心。为了防止钩弋夫人成为另一个吕雉，刘彻就找了个芝麻粒大小的过错处死了钩弋夫人，让她成为有罪之人。这样，即使刘弗陵将来登基，钩弋夫人娘家的兄弟们就没有了进朝为官的资格。既然钩弋夫人是一个有罪之人，刘彻当然不会让她与自己合葬，因此剩下的就只有李夫人有这个可能了。
在汉武帝的这4个女人中，李夫人算是下场最好的人了，李夫人因为自己的聪明换来了一个陪伴武帝身旁的资格。
李夫人出身歌舞姬，是宫廷乐师李延年的妹妹。汉武帝因为她姿容艳丽、能歌善舞而宠爱有加。不过，李夫人红颜薄命。重病之后，刘彻三番五次地前去探望她，可是每次李夫人都用被子蒙住自己的头，死活不让刘彻看到她的容颜。其实，那是她的容颜因为病症的缘故，已经变了样子。她知道皇帝喜欢她，完全是由于她的容貌，如果被皇帝看到自己容颜尽失的样子，他一定会很快疏远自己，不会再对自己有什么好感了。所以，李夫人就用拒见刘彻的这种方法，一直让刘彻在心里记住她美好的样子。这也正是她的聪明之处，直到死，依然没有让刘彻厌恶，也从而有了被安葬在武帝旁边的资格。
昭帝即位后，大将军霍光按武帝的旨意，上奏昭帝，追尊李夫人为“孝武皇后”。这样，李夫人就成了唯一一个守在茂陵刘彻旁边的女人。
不过也有人说，李夫人的墓只是一个衣冠冢，她真正的坟墓并不在茂陵，而是在其他的地方。当时汉武帝死后，霍光见他的身旁没有一个女人陪葬，就临时拿了些李夫人的衣冠，在茂陵旁边建了一座衣冠冢，作为茂陵的陪葬墓。这个说法当然只是—个传说，不能妄下断言，真相只有那些地下的人知道了。
在茂陵的东边，是大将军卫青和霍去病等人的陪葬墓，其中以霍去病陵墓的规模为最大。刘彻为什么唯独为霍去病建了一座气派壮观的墓呢？
原来，霍去病是西汉武帝时期杰出的青年将领，因有战功，封为骠骑大将军，是大将卫青的外甥。他18岁起领兵作战，24岁病逝，虽然只做了短短6年的将帅，却6次率兵平定西部边陲，并取得了决定性的胜利，为西汉王朝的统一、巩固作出了卓越的贡献。汉武帝为纪念这位英年早逝的爱将，就在茂陵旁修建了一座象征祁连山的墓冢，墓上有各种巨型石刻群。其中，“马踏匈奴”石雕通高168厘米，长190厘米，是霍去病墓石刻群的主像。这些石刻手法简练，惟妙惟肖，气势浑厚，已达到了形神兼备的艺术境界，为我国最早、最大、最完整的大型石刻群，素为中外艺术大师所赞叹。
如今，霍去病墓已辟为“茂陵博物馆”，被国务院列为第一批文物保护单位。近来，经过考古专家的发掘，茂陵陵区不断有新的珍贵文物出土。被誉为“国之瑰宝”的一匹闪闪发光的鎏金铜马和一座精巧别致的鎏金鎏银竹节熏炉，就出土于武帝的姐姐——阳信长公主的从葬坑中。
屡次被盗的帝王之陵
茂陵由于其随葬宝藏甚多，素称“东方的金字塔”，所以一直是盗墓者掘盗的目标。
在西汉诸陵中，茂陵的被盗次数和规模远远大于其他的皇陵，在历史上，有记载的被盗次数就有5次。
第一次发生在公元前84年，当时汉武帝可谓尸骨未寒。有一天，汉武帝生前的一个小奴在外出办事的途中，忽然发现在市面上有人在出售茂陵里面的陪葬物——玉箱和玉杖。小奴没敢耽搁，急忙跑到官衙把这件事情进行了汇报。虽然最后没有查出是谁盗窃了茂陵，但茂陵被盗却是真实的。
第二次是发生在西汉末年，当时琅琊人樊崇率百余人进入泰山，揭竿起义，史称“赤眉军”。经过几年的发展，虽然新朝皇帝王莽屡次派大军进行围剿，但都没有消灭掉起义军。公元25年，赤眉军30营（一营为一万人）攻入长安。他们攻入长安以后，首先做的事情就是大肆掳掠。长安城被抢劫一空。他们接着来到咸阳，疯狂挖掘汉朝帝后的坟墓，茂陵在劫难逃。
据史料记载，当年赤眉军打开茂陵后，成千上万的士卒开始搬取陵中宝物，搬了几十天，“陵中物仍不能减半”。在这次盗墓的过程中，茂陵附近的帝后陵也遭到了同样的命运。
第二年，赤眉军再一次“光顾”了茂陵，对茂陵进行了又一次洗劫。当时，他们被刘秀打得落花流水，走上了穷途末路，只好兵退咸阳，寻求翻身的机会。由于刚吃了败仗，加上军费日渐减少，许多士兵都开了小差，军心极为不稳，樊崇为此一筹莫展，只能日夜哀叹。当时，起义军的军师名叫徐宣。徐宣看樊崇没了主意，就给他想了个招说：“眼下我们东有刘秀攻打，西有隗嚣追击，两面受敌，想退是不可能了。就目前这种状况，只有设法再次打进长安，方有一线生机。现在军心不稳，主要是因为士兵闲来无事，给他们找点事做，相信情况自然会好很多。我看这一带的陵墓不少，不如叫大家去掘坟盗宝。如果士兵们有了财物，士气自然高昂，我们就有希望攻进长安了。”樊崇一听，眉头立刻舒展，就赶紧下令士兵再次去盗茂陵。
东汉末年，董卓曾下令吕布盗掘西汉诸皇陵。据说，当时董卓盗掘茂陵的用意不仅仅是盗取里面的财物，因为他知道经过赤眉军的洗劫，茂陵里面值钱的东西已经不是很多了，他让吕布盗墓的目的，是让吕布寻找一方灵丹妙药。
原来，董卓有个孙女，名叫董白。此女长得花容月貌，且生性乖巧，甚得董卓喜爱，一直被董卓视为掌上明珠。不过，这个董白是个哑巴。为了能治好孙女的病，董卓曾广延天下名医为之医治，但均未见效。后来，有大臣向董卓献计，说汉武帝茂陵里可能有能治好董白病的灵丹妙药。于是，董卓便命吕布盗掘茂陵，寻找那颗能让孙女张口说话的仙丹。吕布带领大批士兵进入茂陵后，搜遍了整个陵墓，连汉武帝的棺木都翻了个底儿朝天，灵丹妙药还是未能找到。没有找到治疗自己孙女的仙丹，董卓大怒，于是派人将汉武帝的尸体扔在墓外曝晒，借此发泄自己心中的愤怒。朝中大臣对此无不惊愕，可是又都不敢进言，最后他们公推蔡邕前去劝解。经蔡邕给董卓分析了利弊后，他这才消了怒气，派人将尸体放回，并草草处置。
经历几次大规模的被盗之后，茂陵已经是千疮百孔了。没想到，到了唐朝末年，又一支农民起义军开进了汉武帝的茂陵，其首领是历史上赫赫有名的黄巢。
关于黄巢起义军盗掘茂陵的细节，史无记载，不敢妄加想象。但是在退至咸阳的时候，出于对皇权的仇恨，黄巢是极有可能对茂陵进行一次破坏的。
今天，历尽沧桑的茂陵被命名为第一批国家重点文物保护单位，并建立了茂陵博物馆，各地属于茂陵的鎏金兽头银盘、金饼等118件文物“完璧归赵”。如今的茂陵，终于可以安静地凝望人世了。