霍光和左将军上官桀结成儿女亲家，两人互相亲近。霍光大女儿是上官桀儿子上官安的妻子。她有个女儿年龄和昭帝相当，上官桀通过昭帝姐姐鄂邑盖主把上官安女儿收入后宫封为倢伃，几个月以后，立为皇后。皇后父亲上官安被任命为骠骑将军，封桑乐侯。霍光出宫休假期间，上官桀就入宫代替霍光决定政事。上官桀父子位高权增之后，感激长公主的恩德。公主私生活不俭点，与河间的丁外人私通。上官桀、上官安想为丁外人求封爵，希望依照国家关于列侯娶公主的成例把丁外人封为列侯。霍光不同意。又为丁外人求光禄大夫官职。想让丁外人有被召见的机会，霍光又不同意，长公主因此对霍光大为不满。而上官桀、上官安屡次为丁外人求官爵求不到，也很羞惭。心里想，从先帝时开始，自己已经是九卿，官位在霍光之上，等到父子都成了将军，又有和皇后的重要关系，皇后是上官安亲生女儿，霍光只不过是外祖父，霍光反而专制朝廷政事！从此二人争权。燕王刘旦因自己是昭帝哥哥却没能得立为帝，常怀怨恨。御史大夫桑弘羊创始酒、盐、铁专卖官营制度为国家兴利，居功自傲，想为子弟求官，也怨恨霍光。于是盖主，上官桀、上官安及桑弘羊都和燕王刘旦合谋，让一个冒充是燕王使者的人向朝廷上书，说霍光“去主持郎官和羽林军的大规模军事演习时，路途中实行像皇帝出行时那样的戒严，吃饭时让皇帝御厨房为他提前准备饮食。”又说“苏武以前出使匈奴，被拘留二十年不投降，回朝以后，只委托为典属国，而大将军长史杨敞没有功劳，却当上了搜粟都尉。又专断地调动、增加大将军府的校尉。霍光专权、放纵，我怀疑他别有企图，臣旦愿意交出燕王封爵，入宫值宿护卫，监察奸臣的叛变阴谋。”等候霍光出宫休假时，上奏给皇帝。上官桀打算，从宫里把这件事下交给主管官吏查办，桑弘羊负责和各大臣共同胁迫霍光退职。所谓的燕王书信上奏以后，昭帝不肯向下转发查处。
第二天早上，霍光知道了这件事，留在殿前西阁的画室中不肯进殿。昭帝问：“大将军在哪儿？”左将军上官桀说：“因为燕王告发他的罪行，所以不敢进来。”昭帝下诏叫大将军进殿。霍光进殿，取下头上的冠，叩头谢罪。昭帝说：“将军戴上冠。朕知道信是假的。将军没有罪。”霍光说：“陛下怎么知道的？”昭帝说：“将军去广明检阅郎，是近日的事。调校尉以来还不到十天。燕王远在外地，怎么来得及知道？况且将军造反，不必要用一个校尉啊。”这时昭帝才十四岁，尚书和身边的人听后惊诧不已。而上书的人果然逃跑了。追捕很急。上官桀等人害怕，对昭帝说：“小事不值得穷究。”昭帝不同意。
后来上官桀党羽中只要有诬陷霍光的，昭帝就发怒说：“大将军是忠臣，先帝委托来辅佐朕的，敢有诽谤他的，要办罪！”从此以后，上官桀等人不敢再说。于是密谋叫长公主设酒席请霍光，埋伏兵士，杀掉霍光，乘势废黜昭帝，迎立燕王为天子。这个密谋败露了，霍光把上官桀、上官安、桑弘羊、丁外人连同他们的家族都予以诛杀了。燕王、盖主自杀而亡。霍光威镇全国。昭帝举行冠礼以后，继续委任霍光主持国政，昭帝时，霍光主政，有十三年之久。百姓富足，四夷归顺。
元平元年，昭帝去世。没有儿子。武帝六个儿子。独有广陵王刘胥在世，群臣讨论该立谁为皇帝，都主张立广陵王。广陵王本来是行为放纵，不合正道，武帝才不选用的，所以霍光听了大家议论内心不安。有一个郎上书说：“周太王废黜太伯而立王季，周文王舍弃伯邑考立武王，都是只看适宜就立。即使是废黜长子而立少子也是可以的。广陵王不能继承帝位。”他的话符合霍光心意，霍光把他的上书拿给丞相杨敞等人看，把这个郎提拔为九江太守。当天就奉皇太后诏令，派遣行大鸿胪事的少府乐成、宗正德，光禄大夫吉，中郎将利汉去迎接昌邑王贺。
刘贺，是武帝孙子，昌邑哀王的儿子。到长安后，即位为皇帝，行为淫乱。霍光忧愁愤懑，单独询问他所亲近的原来的属吏现任大司农的田延年，这事该怎么办。田延年说：“将军是国家的栋梁，既然确实知道他不行，为什么不向太后说明，另立贤明之主？”霍光说：“现在想这么办，在古代有先例吗？”田延年说：“伊尹做殷朝的相，废黜太甲来安定宗庙社稷，后世称颂他的忠诚。将军如果能办这件事，也就是汉朝的伊尹啊。”霍光于是在本官大司农之外，又给田延军一个“给事中”加官身分，让他可以进宫议事。又暗地和车骑将军张安世谋划。接着召集丞相、御史、将军、列侯、中二千石、大夫、博士在未央宫共同议事。霍光说：“昌邑王行为昏庸淫乱，恐怕会带来困难，怎么办？”群臣全都大惊失色，无人敢语，只是随声应付不置可否而已。田延年离开坐席走上前摸着剑说：“先帝把幼年太子托付给将军，把天下托付给将军，是因为将军忠诚、贤明，能保刘氏子孙的平安啊，现在臣民不安，国家行将崩溃。而且汉朝历代相传，谥号里都有孝字，意思就是要长保天下，让祖先能享受子孙的祭祀啊。如果让汉家断绝了祭祀，将军死后，拿什么脸面到地下去见先帝呢！今日的讨论，不能有一会儿的耽搁。群臣里有谁赞成得晚一些，我就请求让我杀了他！”霍光谢罪说：“九卿对我的责备是正确的。如今人心浮动，议论纷纷，我应当受到责备。”于是参加会议的都叩头说：“百姓的命运都在将军一个人了，我们都只听将军的安排。”霍光就和群臣一起去拜见太后，并向太后详细禀告，叙说了昌邑王不能继承帝位的情况。皇太后于是移驾未央宫承明殿。并下令未央宫各处守门官兵不许放昌邑王手下的群臣进未央宫。昌邑王到太后处朝见回来，乘上车肇准备回温室殿。中黄门的宦官各把住一扇门，昌邑王进去，门就随即关闭，昌邑王国群臣不能进门。昌邑王说：“这是怎么回事？”大将军跪下说：“有皇太后命令，不让昌邑群臣进门。”昌邑王说：“慢一点口么，为什么这么大惊小怪。”霍光派人把昌邑王群臣驱赶到金马门外，车骑将军张安世带领羽林骑兵逮捕捆绑了二百多人，都送到廷尉和诏狱去看管。派从前昭帝时的侍中中臣侍卫看守昌邑王，霍光告诫他们要小心看守，“万一仓猝间昌邑王死掉或自杀，我就对不起天下人，有杀君的罪名了。”昌邑王还不知道就要被废黜了。对身边的人说：“我原有的群臣从官怎么得的罪，而大将军把他们都抓起来？”过了一会儿，有太后命令，召昌邑王。昌邑王听说召见他，心里有点怕，就说：“我得了什么罪而要召我呢？”太后披着用珍珠缀成的短袄，穿着庄严的礼服坐在武帐里，两边几百个侍从的人，都手持兵器。皇宫武装警卫期门勇士都拿着戟排列在殿陛之下。群臣按次序上殿。召昌邑王伏在太后面前聆听诏书。霍光和群臣联名上奏，弹劾昌邑王。尚书令宣读奏章说：
丞相臣敞，大司马大将军臣光，车骑将军臣安世，度辽将军臣明友，前将军臣增，后将军臣充国、御史大夫臣谊、宜春侯臣谭，当涂侯臣圣，随桃侯臣昌乐、杜侯臣屠耆堂、太仆臣延年、太常臣昌、大司农臣延年、宗正臣德、少府臣乐成，廷尉臣光、执金吾臣延寿、大鸿胪臣贤、左冯翊臣广明、左扶风臣德、长信少府臣嘉、典属国臣武、京辅都尉臣广汉、司隶校尉臣辟兵、诸吏文学光禄大夫臣迁、臣畸、臣吉、臣赐、臣管、臣胜、臣梁、臣长幸、臣夏侯胜、太中大夫臣德、臣印冒着死罪向皇太后陛下禀告，臣敞等顿首死罪。天子所以能永保宗庙统率全国，是因为他以讲求慈孝礼义谨慎使用赏罚作为自己育行的根本原则。孝昭皇帝无子早逝，臣敞等讨论：《礼》说：“做人家的后嗣，就是做人家的儿子。”昌邑王可以给昭帝做后嗣，就派宗王、大鸿胪、光禄大夫奉太后所给的旄节去召昌邑王来主持丧事。但昌邑王穿上最重的斩讠衰孝服，却丝毫没有悲哀心情，他废弃礼义，在路途中，不吃斋戒，随便虏掠女子载入有帷幕的衣车内，带进所住的传舍里去。刚到长安，谒见太后，被立为皇太子，就常买鸡、猪吃。在昭帝灵柩前接受了皇帝信玺、行玺，回到自己位置时，把信玺、行玺从匣中取出而不封藏好。命从官轮换着持符节把从昌邑王带进京的从官、驺宰、官奴二百多人接进宫里，经常在一起游戏。自己亲身往保藏符玺的官署索取符节十六枚，早上晚上两次在昭帝灵柩前哭奠时，让从官轮换着持节跟随。曾写信说：“皇帝问候侍中君卿。我派中御府令高昌奉上黄金一千斤赐予君卿，让君卿娶十个妻子。”昭帝灵柩尚未入葬，就取出乐府的乐器，招引昌邑王府的乐人，击鼓、唱歌、吹奏乐器、演戏。送昭帝下葬回来，上前殿时，击钟磬。把祭祀太一神和祭祀宗庙时奏乐的乐工召进后宫，经由皇帝车驾所行的辇道到上林苑的牟首池去，吹打乐器唱歌跳舞，表演各种节目。从长安厨取出三份太牢祭品在阁室中设祭，祭祀结束，就和从官一同吃喝。驾驶着只有在祭天和郊祀社稷时才能用的法驾，用皮轩、鸾旗先行引导，在北宫、桂宫里驱驰，逗弄野猪，斗老虎玩。取来皇太后乘坐的小马车，让官奴骑乘着在宫廷里玩耍。和孝昭皇帝从前宫中的侍女名叫蒙的等人淫乱，还命令掖廷令说，谁敢泄漏出去，就要腰斩。
太后说：“停下！做人臣的，能够这样胡作非为吗！”昌邑王离开原来席位爬在地上听。尚书令继续宣读奏章：
拿诸侯王、列侯、二千石的印绶和级别低些的秩比六百石以上官员的墨绶、比二百石以上的黄绶来给昌邑王府的郎官和被赦免的奴隶佩带。把节上的黄旄换成赤旄。拿出御府里的金钱、刀、剑、玉器和花绸缎，赏赐给陪自己游戏的人。和从官、官奴日夜喝酒，嗜酒无度，命令太官“进献皇帝饮食，和往常一样。”监管皇帝饮食的食监奏报：“守孝期间，不能享用和往常一样的饮食。”他仍催太官进献，叫不要通过食监。太官不敢进献。就派从官出宫买鸡猪，命令殿门卫士放他们进来，成为常事。独自在夜里于温室使用接待贵宾的“九宾”之礼，接见姐夫昌邑王国的关内侯。祭祀祖宗庙的礼节还没举行，就颁下玺书派使者持节，以三份太牢祭祀他生父昌邑哀王园庙，自称“嗣子皇帝”。接受符玺后，27天，使者四出，持节命令各官署，征调物品共1127次。文学光禄大夫夏侯胜等及侍中傅嘉多次对他所犯过失提出劝谏，他却派人拿着文书斥责夏侯胜，捆起傅嘉投进监狱。他荒淫迷惑丢失帝王礼仪，搞乱汉家制度。臣敞等多次进谏，不改正，却越来越糟。怕要危害国家，天下都在担心。臣敞等谨慎地和博士臣霸、臣隽佶、臣虞舍、臣射、臣仓商议，都说：高皇帝建立功业，成为汉朝太祖，孝文皇帝慈仁节俭，成为太宗。现在陛下做孝昭皇帝后嗣，行为淫乱邪恶，不守法度，《诗》说：‘即使说无知，也已经抱孩子了。’五刑之类，最主要的用于处罚不孝。周襄王不能侍奉母亲，《春秋》说。‘天王出去居住在郑国。’因为他不孝，所以用‘出’字贬他，这是要在天下人面前弃绝他。’宗庙比君主尊贵重要。陛下没有受命于高庙，不能让他继承天命，奉祭祖宗庙，以百姓为子民。应当废黜。”请求派主管部门御史大夫臣谊、宗正臣德、太常臣昌，与太祝用一份太牢祭品，把这事祭告高庙。臣敞等冒死报告。
皇太后说：“可以。”霍光命令昌邑王起来拜受皇太后诏令。昌邑王说：“听说天子有谏臣七人，即使无道胡为，也不丢天下。”霍光说：“皇太后已下令废黜，哪里来的天子！”于是走过去抓住他的手，解除他的玺绶，奉交给皇太后，扶昌邑王下殿，出了金马门，群臣相送。昌邑王面向西拜首说：“我愚蠢，不能担当汉朝的大事。”站起身登上乘舆副车。大将军霍光送他到昌邑王在京师的官邸，霍光道歉说：“王的行为自绝于上天，臣等无能，不能以死报效王的恩德。臣宁愿对不起王，不敢对不起国家。愿王自爱，臣永远不能和您再见面了。”霍光洒泪而去。
群臣上奏说：“古代被废黜的人，要被弃置到远方去，不让他再参与政事。请把王贺迁徙到汉中房陵县去。”太后下诏，让贺回到昌邑去，赐予汤沐邑二千户。昌邑群臣因为犯了放弃辅导职守、引诱王干出坏事的罪，霍光将他们二百多人全部杀掉。押赴街市处刑时，他们大声呼喊：“当断不断，反受其乱。”
霍光坐在掖庭中，会集丞相以下官员讨论确定拥立的人选。广陵王已经在以前决定不用了，燕刺王由于谋反而被杀，他的儿子不在考虑范围之内，近亲唯有卫太子的孙子被称为皇曾孙的，民间都称赞他好。霍光于是再和丞相敞等上奏皇太后说：“《礼》说：‘为人之道要亲爱自己的父母，所以推溯上去要尊崇始祖，尊崇始祖，所以要敬重大宗。’大宗没有后代，要选择旁支子孙中贤能的作为后代。孝武皇帝曾孙病已，武帝在世时有诏，让掖庭负责抚养，现已18岁，跟随老师学习了《诗》、《论语》、《孝经》。为人节俭，慈仁爱人。可以做孝昭皇帝的后代，继承祭祀祖宗庙的大任，做百姓的君父。臣昧死报告。”皇太后下诏令说：“可以。”
霍光派宗正刘德到皇曾孙的家尚冠里去，让他洗头洗身，赐予他皇宫里的衣服。太仆驾着轻便的轮猎车来迎曾孙，到宗正府举行斋戒，进未央宫谒见皇太后，被封为阳武侯。不久，霍光捧呈皇帝玺绶，他拜谒高祖庙。这就是孝宣皇帝。
第二年，宣帝颁布诏书说：“褒奖有德的人赏赐立头功的人，这是古今通行的道理。大司马大将军光，宿卫孝武皇帝忠诚正直，宣扬表彰皇帝的恩德，坚守节操主持正义，使宗庙平安。现命令把河北东武阳一万七千户加封给光，连同以前已享有的，共为二万户。”前后赏赐黄金千斤，钱六千万，杂色绸缎三万匹，奴婢一百七十人，马两千匹，最好的住宅一所。
从昭帝时开始，霍光儿子霍禹及哥哥的孙子霍云，都是中郎将，霍云的弟弟霍山为奉车都尉侍中，统率外族归附的军队。霍光两个女婿为东西宫的卫尉。霍家各个女婿、外孙享受在朝廷有事时参加朝会的优待，担任诸曹大夫，骑都尉，给事中等职务。亲族党羽联成一体，像树根一样牢牢盘据着。霍光从武帝后元时，掌握国家大权，到宣帝即位，霍光归还大权，宣帝谦让不接受，各种事都先报告霍光，然后昼报天子。霍光每次朝见，宣帝都虚心相待，态度严肃庄重，以礼接待他，谦虚得都有些过分。霍光掌握国家大权，前后共二十年。
地节二年（公元前68年）春，霍光病重，宣帝亲自去慰问霍光的病。宣帝为他流了泪。霍光上书谢恩说：“希望在我封邑中分出三千户，请皇帝拿去封我哥哥的孙子奉车都尉山为列侯，奉行哥哥骡骑将军去病的祭祀。”宣帝把这份申请交给丞相、御史去办，当天任命霍光儿子霍禹为右将军。