在五位托孤大臣里，霍光与左将军上官桀的私人关系应当算最近，两位是亲家，上官桀的儿子上官安是霍光的女婿。按照常理，最理解、最支持、最配合霍光执掌大权的，应当是上官一家人，事实却并非如此。——据说眼下搞传销、兜售不法产品的，无一例外都先找亲戚朋友下手；荧屏报道，杀害富豪舅舅的全都是打着灯笼的外甥。
汉昭帝刘弗陵十二岁那年的一天，左将军上官桀带着儿子上官安来到大将军府，拜会亲家霍光。饮茶叙谈至兴奋处，上官桀突然冒出一句话来：该给皇上选一个中宫皇后了。霍光乍听此话有些惊讶，十二岁的小皇帝现在就册立皇后，有些为时过早，但亲家既然提及这个话题，霍光也不好拂人家面子，便接过话头来：虽说显得早了一些，假如真有那聪慧淑敏的女儿，送进宫去，倒也是一件好事。随即他问上官桀：君侯手中可有合适的人选？不等他爸爸开口，一旁的上官安忙躬身禀老丈人：小女上官小妹天生丽质，乖巧伶俐，来日定能统领后宫。霍光闻言，猜着了这爷俩今日来此的目的。
以霍光当时的权威，他一手就可以办成亲家希望的这件事。但在霍光看来，凡事都有个分寸，小妹年方六岁，就这样凭咱们几句话送进宫封作汉皇后，岂不惹人议论？朝野上下还不炸了锅？今后施政还怎么能够服众？霍光想了想没有答应，他对女婿上官安说：这恐怕不妥。上官桀这时起身，鼓动霍光：小妹也是您大将军的外孙女呀，若能正位中宫，您不是一样脸上增光吗？这话讲得有些偏了，既暴露了上官父子的阴暗心理，同时也降低了霍大将军的人格，把事情弄成了三个人在一起搞阴谋做小动作。霍光立马生气了，直接给上官桀来了个下不来台：左将军此言差矣！先帝临终托孤于你我，册立皇后是天下的大事，我们怎么可以假公济私呢！上官桀父子碰了一鼻子灰，悻悻地告辞。
顺便说一下上官桀这个人，他与霍光的人品有着天壤之别，早先他给汉武帝养马时，有一段时间武帝病了，上官桀向来好做面子上的事，听说皇帝病得卧床不起，估计近期不会来马厩，便懒散懈怠下来，马料不及时添，一天到晚玩得开心。不料突然有一天汉武帝来到马厩，发现马匹瘦弱了许多，斥责上官桀失职。上官桀眼珠骨碌碌一转，忙伏地叩头道：臣闻圣体欠安，日夜忧虑，哪有心思喂马，请陛下恕罪。武帝一听原来是惦记自己的龙体康健，怒气消了，还安慰了上官桀几句。
父子俩在霍光这里碰了壁，并不气馁，转过头去另辟蹊径。刘弗陵即位之初，因为年龄尚小，母亲已不在，霍光便安排其异母姐姐鄂邑盖长公主进宫，全权照料小皇帝的生活起居，同时掌管内宫的一切事务。这位公主早先嫁给盖侯，盖府有个门客丁外人，河间府人，机智多才，风流倜傥，在盖府时间长了，一来二去深受盖长公主青睐，俩人由眉来眼去发展到私下偷情。巧的是，盖侯英年早逝，俊男丁外人鸠占鹊巢，索性与寡居的公主姘居在一起。霍光并非不知道这段风流公案，想着这等男女偷嘴之事，情有可原，何况长公主已丧夫。只是后来发现这两位每每夜里常要幽会，为不致耽误小皇帝的事，霍光下令丁外人可以进宫侍宿。
小皇帝身边就这个姐姐，自然感情上很依赖。
上官桀父子这回走的就是长公主这条路子。他们先找到丁外人，送上重礼，让丁外人疏通长公主，爷俩答应丁外人，事成之后一定帮着丁外人加官晋爵。如此一番上下串通、左右周旋，不久，小皇帝下诏，六岁的上官小妹被召进宫，先封作婕妤，几个月后册封为皇后。
霍光为什么不再阻拦了呢？这就是权利场上的微妙处，此一时彼一时也。既然上官父子活动成了，于霍光又并不是一件坏事，毕竟是他的外孙女嘛。霍光唯一疏忽了的是，上官父子处心积虑地把孙女送进宫立作皇后，这只是个序曲，他们借此将展开更大的图谋，接着就要跟霍光唱对台戏了。
女儿做了皇后，上官一家身价倍增，上官安由小小的郎官升迁作骠骑将军，加封桑乐侯；上官桀开始敢跟霍光叫板了，他经常借着霍光沐浴、休假等各种不在朝的空隙，代替霍光决策政务。
爷俩兴奋了一阵子，突然想起还答应过丁外人升官的事，便几次三番地在霍光面前推荐丁外人，建议按照列侯配公主的惯例，封丁外人个侯。霍光很清楚丁外人是个什么货色，所以每当上官桀提起时，他都以高祖刘邦的“无功不得封侯”加以拒绝。上官父子无奈，退而求其次，提出给丁外人个光禄大夫做，这样方便见到皇帝。霍光仍不为所动，始终没有点头。这一来，一是严重地伤了上官桀的面子，二是让他们对霍光的专权更加嫉恨。
需要说明的一点是，在先帝刘彻时，“桀已为九卿，位在光右。”上官桀早就混到九卿的位置，而且级别还比霍光高半格。这就意味着不平衡的心里早已存在，现在霍光后来居上，把前浪拍在了沙滩上，不给老上级一点面子，必然使矛盾进一步加深。何况在上官桀这里，并不认为已被拍到沙滩上，与你霍大将军比，咱现在“父子并为将军，有椒房中宫之重。”我们爷俩也都是将军衔，还有椒房中宫孙女皇后这棵大树。如此一想，上官桀大有“凭什么你说了算”的不服气。
上官父子拉拢住盖长公主，又联络上御史大夫桑弘羊和一直怀有个人野心的燕王刘旦，决计要扳倒霍光。
霍光得罪上官父子，因拒绝提拔丁外人惹恼了盖长公主，燕王旦则属于别有用心，这些都可以理解，顾命大臣之一的桑弘羊怎么也站到了他们那一边？这和霍光的坚持原则、僵硬作风不无关系。御史大夫桑弘羊主持建立酒业官卖、垄断盐铁生产，为汉王朝增加了巨额财政收入，功劳很大。有了大功之后，他就想趁机办点个人的私事，“欲为子弟得官”，想给儿女们谋个一官半职。霍光却死活不给开这个口子，气得这位理财高手投向了上官阵营。
上官桀等人的挑衅滋事，是霍光政治生涯遭遇的第一次巨大挑战，他既要日理万机、打理朝政，又要照顾年少的汉昭帝，之后才得以腾出手来对付这一伙人。而这伙人又都躲藏在暗处，霍光无法主动出击，所以他唯一的办法只能是以静制动、沉着应对。