圆满而平稳地送走了霍光，顺利地接过执掌江山的权柄，刘询开始脱下伪装，披挂上阵，正式扮演起了主角，迅速燃起三把大火。
第一步，将他与许皇后的儿子刘奭立为皇太子，浇灭霍成君的希望之火。
第二步，任命自己的亲信魏相为汉丞相，逐步把朝政大权从霍氏势力手中收回。
第三步，削弱霍氏家族的军权，刘询给霍光的儿子霍禹一个徒有虚名的大将军封号，子承父业，让你无话可说，事实上却远离军事决策中心、远离枪杆子。
霍家人显然还没有完成角色转换，没有从霍光显赫的权势和耀眼的光环下走出来，同时又不具备大将军霍光的品格、气量与韬略，面对突如其来的汉皇的一次次变脸，他们仍自顾沉浸在妄自尊大的美梦里。皇帝给予霍光的尊贵体面已经够大的了，霍显却仍嫌不足，完全出于妇人之见，节外生枝地要去扩大霍光陵墓的规模；“广治第室，作乘舆辇”，多大的地方才能安得下你？还要大肆置买田地房产，处处去跟皇家比肩；当朝的皇帝是刘询，既然已经诏告天下立刘奭为太子，面对现实、迎合君意是最明智的选择，——何况许平君已归天。霍显、霍成君母女浅薄到竟然硬是咽不下这口气，故伎重演，如法炮制想毒死太子刘奭；
霍禹因不满皇帝夺了他的兵权，耍大牌，负气称病不朝，且当面大放厥词，指责刘询没有他爹霍光哪能当上皇帝。
这一连串愚蠢的行为，等于积极配合着刘询的铲除计划，接二连三给汉皇亲手送上霍家不轨的口实。
刘询似乎还觉得火候不够，他又跟几位亲信大臣频频上演双簧，一封封告发霍氏子弟为非作歹的奏章雪片般飞向朝廷，厚厚地积压在汉宣帝的御案上。
刘询在一步步逼着霍光的后人自掘坟墓，而霍显、霍禹、霍山、霍云几个果然按照他的指挥棒转了起来。在霍家势力被一点点削弱殆尽的时候，在当年毒杀许皇后的罪孽眼看纸里包不住火的时候，霍家人方寸大乱，铤而走险了。先是受人教唆，意欲借上官太后之手，除掉汉宣帝的左臂右膀魏相和平恩侯许广汉，消息走漏未能得逞。刘询仍未反击，仍在等待。一计不成又生一计，霍山等人密谋发动政变，让上官太后设宴，意欲席上杀死魏、许，进而废掉宣帝，改立霍禹为帝。——这一切都在刘询的秘密监控之下，他在静静等待着霍氏家族的自我崩盘。
霍禹杀人的酒宴尚未摆好，皇帝的禁卫军已到。地节四年（公元前66年）——霍光死后仅仅两年，霍山、霍云畏罪在家中自杀，霍显、霍禹及霍光的女儿、兄弟子侄全部被抓。刘询下令，腰斩霍禹，其他人全部处死弃市，“与霍氏相连坐诛灭者数千家。”霍氏一族满门遭斩，霍成君侥幸逃命，皇后被废，囚居上林苑昭台宫。
霍家从此灰飞烟灭，霍光的阴影再不复投向刘询的心头，——汉宣帝费尽心机终于拔掉了背上的这根芒刺。
司马光是一位清醒而公正的史学家，他指出：“岂徒霍氏之自祸哉？亦孝宣酝酿以成之也。”“夫以显、禹、云、山之罪，虽应夷灭，而光之忠勋不可不祀，遂使家无噍类，孝宣亦少恩哉！”一朝君子一朝臣，只是刘询做得太绝情了一些。
有趣的是，汉宣帝甘露三年（公元前51年），匈奴归降，刘询念及辅佐汉室有功之臣，命人画十一位功臣图像于麒麟阁，以示褒扬，霍光位列第一；第一是第一，但却“唯光不名”，十一人只有霍光没有清清楚楚地标出名字，只注明“大司马大将军、博陆侯、姓霍氏。”——这个小心眼的刘询！