霍光平生一个最大的失误，就是没有管住自己身边的女人，这包括夫人也包括女儿。
霍光的夫人名霍显，她并非霍光原配，早先在霍府做婢女，霍光纳之为小妾，霍夫人死后，被扶作正室，生了个女儿叫霍成君。这母女俩成了霍光命里的扫帚星。
刘询在民间有个共患难的发妻叫许平君，眼下封作婕妤，二人相濡以沫感情甚笃，生有一子刘奭。刘询做了皇帝后，再洁身自好的男人，也不会厌烦三宫六院的生活，何况一切都是按皇家规制办事，不存在沾花惹草之嫌。众多妃嫔中，就有霍光的女儿霍成君。
在册封谁做皇后的问题上，作为父亲，希望自己的女儿正位中宫，也是人之常情，但霍光并没有明确流露这一点。倒是他的夫人霍显和女儿霍成君本人，十分向往皇后的位置。而天子刘询真正属意的，是与他情深意重的民女原配许平君。朝中有人为了讨好霍光，就极力建议立霍成君为皇后。刘询不能不顾及霍光的面子，但又实在不愿违心地抛弃糟糠之妻，煎熬了多日，他给众臣演了一个小把戏，——刘询下了一道诏令，命满朝文武去帮他寻找从前玩过的一把剑。接到这个诏令，群臣一时诧异，一把什么剑皇帝至于如此兴师动众？慢慢才醒过神来，皇帝这是在暗示大家，情系故人啊！刘询还是想立许平君为皇后。弄清风向，大臣们纷纷上表请立许婕妤为皇后，汉宣帝顺水推舟，准奏，立十七岁的许平君做了皇后。
这样的结果，刁婆子霍显首先不服气，我家老爷权倾朝野，连你刘病已的天子龙位都是俺家老霍给你的，堂堂一个大将军家的千金竟败给一个穷街陋巷的民女！她咽不下这口气。从此整天想着怎样能把许皇后除掉，好让自己的女儿取而代之。
许皇后怀孕感觉身子不适，刘询命女医淳于衍来给皇后探视。淳于衍正打算前去宫中给皇后瞧病，大将军府霍夫人又差人来请，称有要事相商。这个淳于衍丈夫的官职是靠霍显帮忙弄来的，霍显的事她自然不敢耽误，便先来到大将军府。霍显见淳于衍到了，拉着手径直进了密室，直接告诉淳于衍：大将军疼爱小女成君，如今只是这个许皇后挡着道，听说她怀孕生病，你利用这个机会，投药毒之，事成后保你夫妻荣华富贵。诱惑力确实不小，但这毒杀皇后掉脑袋的活，还是让淳于衍心惊胆战犹豫不决。霍显一旁不停地打气鼓劲，碍于面子，淳于衍最终答应了下来。许皇后生下女儿不久，身体仍病恹恹的，医官们给拟了个药方，安排服些丸药调理。淳于衍见时机来了，在药丸里掺入热药，许皇后喝下没多久，只见大汗淋漓，全身虚脱，等宣帝命御医前来诊视，人已咽气。
皇后死得蹊跷，有人马上怀疑到女医淳于衍，刘询下令抓捕归案，淳于衍咬紧牙关不露半个字。这边霍显吓得坐卧不安，万一淳于衍扛不住一五一十招了，后果不堪设想，无奈之下，她把谋划毒死皇后的事全盘说给霍光，乞求霍光设法遮掩过去。
这应当是霍光身上最大的一个污点。——听了夫人的述说，霍光惊诧、气愤，但末了还是选择了帮助夫人掩盖罪责。霍光来到宫里，劝刘询道：皇后一夕崩逝，估计是天命所限，医官们恐怕无人敢去做大胆谋害皇后的事。刘询接受了大将军的开导，下令释放了淳于衍，此事就此打住。——依刘询的智商和心机，想必心中已经有数，此事定与大将军府有染，但若此刻因此翻脸摊牌，时机显然不成熟，不如暂且隐忍，秋后一并算账。
许皇后一死，霍成君如愿当上了梦寐以求的大汉皇后。令人可气可叹的是，这位娇生惯养的贵族小姐，原本就不是侍奉天子的料，使气任性、蛮不讲理，又奢华无度、肆意挥霍，在汉宣帝眼里，与他的许皇后形同天壤，刘询十分讨厌。
汉宣帝地节二年（公元前68年）春，主持朝政二十年，先后侍奉汉武、汉昭、汉宣三朝皇帝的大将军霍光病倒了。刘询来到大将军府探视，站在霍光病床前，大汉天子哭得泣不成声。——这位刘氏后裔的演技一点不逊色于他的先祖刘邦。霍光竟真地被他的“真诚”所感动，奄奄一息之机，莫名其妙地提出为他的侄孙索要个列侯的封赏。
同年三月初八日，一代江山中流砥柱霍光，永远地闭上了眼睛。
汉宣帝刘询把大将军霍光的葬礼搞得十分隆重，一切比照天子的规格，皇帝本人随皇太后亲临柩前吊唁。葬礼毕，刘询立即兑现霍光临终前的请求，封霍山为乐平侯，同时下诏把霍光大大地赞美了一番，称颂其陪伴武帝三十年、辅佐昭帝十多年，“遭大难，躬秉义，率三公、诸侯、九卿、大夫定万世策，以安宗庙。”“功如萧相国”，为大汉立下头功，为天下子民带来幸福安康，功劳直逼萧何。——霍光当时在人们心目中的地位近似周公，受到普天下黎民百姓的敬仰爱戴，故而刘询在这个巨星陨落、举国哀痛的时候，不得不以沉痛缅怀与慷慨奖赏来顺应民心，保证社会的稳定；他最担心的是霍光这一座高山的轰然倒塌，会引起域内山河的震动，出现他一时难以收拾的局面。——这一点江青、春桥这类蠢货根本想不到，亿万人民痛悼周总理，你们几个偏要逆流而上拦着不让祭奠，不是自找霉头吗？
因此上说，论聪明程度，刘询可算做是西汉皇帝中最机灵多智的一位，他在霍光丧葬前后所采取的一系列举措，无疑收到了预期的效果。