替代武惠妃的人物，竟是她生前为儿子选的王妃杨玉环。杨玉环因何被皇帝公爹所中意。而杨玉环不仅长得模样标致，更优越的是精通音乐，善于歌舞，还能演奏各种乐器，技艺精妙，就连李隆基养在宫中的专业乐工——梨园弟子，也没有能比得过的。李隆基看中儿媳，仅用“好色”是解释不通的。人的相貌美丑，是爹娘生就的，而优美天赋和艺术才能，从却是千百人挑选而出。
李隆基看中儿媳杨玉环，这个馊主意是谁出的？史书上只是含糊其词地说“有人进言”。至于这个人是谁，没有明文可查。后世便有人猜测这是高力士出的主意。
玄宗传记中也多持这种看法。稍作分析，便会觉得这种看法欠妥。这时，高力士追随李隆基已有三十年，身为宦官首领，已是显贵至极；掌握禁军护卫皇帝，可谓任当亲重。离间皇家骨肉，违背人伦道德，这种恶名罪过，以高力士谨慎精明的处世准则，是绝对不会去做的。高力士没必要以这种作为，向皇帝讨好邀宠。
李隆基看中儿媳，本是自己的主意。再说，唐玄宗李隆基之前，已发生过太宗将弟弟齐王李元吉的杨妃收为己有；高宗将先父之妃武氏（武则天）纳入宫中立为皇后。李唐先世源出“夷狄”，此类乱伦之事。
再如何想方设法，将寿王妃纳进皇宫。高力士要帮李隆基出主意。开元二十八年（740）正月，李隆基颁下一道《度寿王妃为女道士敕》，用为他的亡母窦太后“追福”的名义，允准杨玉环“自请”出家入道，道号“太真”。
便堂而皇之地解除了杨玉环与寿王的夫妻关系，同时也解除了公爹与儿媳的亲属关系。然后，时年22岁的杨太真住进了宫中的太真观里。为寿王另选了左卫勋二府右郎将韦昭训的次女作新王妃。
杨太真于天宝四年（754），受册为“贵妃”，代替原先的婆婆武惠妃而成为无冕皇后。杨贵妃得宠，杨氏一门立时显贵，她的亡父亡母被追赠官爵封号，三个姐姐同日受封为一品国夫人，其余叔伯兄弟也入朝任官，还有娶公主当驸马的。杨国忠也就是从这时开始走运，成为政治上的暴发户。
杨太真入宫，李隆基如得“至宝”，整日沉溺在歌舞宴欢之中。杨贵妃乘马，都由高力士牵马执鞭。杨贵妃，是个杰出的艺术家，她没有热衷政治权力的欲望，但也不免宠极生骄，对李隆基同时爱幸别的妃嫔，时常妒嫉不满。天宝五载（746）7月。杨贵妃的妒心醋劲，惹得李隆基大发脾气，下令将她送回宫外的哥哥杨铦家里。
李隆基有一天，心神不宁，直到中午也不想吃饭。
高力士明白其中情由，就试探着提出将贵妃院的器物用具装车送到杨铦家中。李隆基觉得这是个下坡台阶，便同意了。天晚时分，高力士又提出迎贵妃回宫。李隆基等待的就是这个保全自己体面的建议，立即命人打开宫门，接回贵妃。第二天，李隆基心情愉快，大摆宴乐，对杨贵妃的宠爱更加隆厚。
李隆基专宠杨贵妃，荒怠政事，带来严重的政治后果。丢掉了禁止后妃与外戚干政的戒心，对杨国忠加以信任重用。杨国忠恃宠专政。他打击异己不择手段，担任宰相，搞得朝政更加腐败。朝中大臣离心离德，唐朝的政治军事出现了严重危机，边疆节度使手握重兵成为混乱趋势。
唐朝在天宝初年，边疆设置了10个节度使，负责军政事务。随着手中权力的增加和长时间任职，这些节度使便成了所在地区的土皇帝。安禄山在这种局势下，逐渐羽翼丰满，野心膨胀，最后起兵叛乱。
安禄山在天宝十年（751）时，身兼任三节度使（平卢、范阳、河东），统辖15万军队。朝廷的禁军不过12万人。李隆基对安禄山，一再用赏赐、加官笼络，收买其心，使之效命。对安禄山的狼子野心，完全丧失了警惕性。
高力士对朝中和边疆情势了然于心，找机会提醒李隆基：
“北方节度使权大兵强，陛下准备如何来控制呢？”
李隆基未想出什么有效的控制方略，安禄山便举起叛旗。在天宝十四年（755）冬天，安禄山以“讨伐害国奸相杨国忠”为名，从范阳（今北京）起兵南下。只用了一个月时间，叛军就占领东都洛阳，安禄山自称大燕皇帝，然后派兵西进，直指潼关。急警传来时，李隆基正带杨贵妃在临潼华清宫寻欢作乐。他匆忙返京，调集兵马，拒守潼关。如果官军拒险固守，定能扼制叛军兵锋。可李隆基昏庸糊涂，听信杨国忠的建议，一再催促潼关守将哥舒翰出关迎敌。哥舒翰难违君命，时在天宝十五年（756）6月4日。开关出战，大败于灵宝。
安禄山叛军在6月8日，打破潼关。消息传来，长安一片惊慌，杨国忠奏请李隆基“西幸”避难。6月13日，在高力士和龙武大将军陈玄礼率领的2000名禁军保护下，悄悄出了京城，向西仓惶而去。第二天，队伍行至金城县（今陕西兴平）西二十余里的马嵬驿，发生了兵变。宰相杨国忠和儿子户部侍郎杨暄、御史大夫魏方进，被乱兵杀死。禁军围驿不散，李隆基无奈之际，下令缢杀杨贵妃。
此时，兵荒马乱，李隆基需要的是高力士和陈玄礼带领的禁军护卫逃命，所以，也就顾不上杨氏兄妹了。
缢杀杨贵妃，就是由高力士亲自监督执行的。兵变之时，杨国忠之妻裴柔，杨贵妃之姐虢国夫人等已先行到达扶凤，被地方官员追捕斩杀而亡。
究竟这场兵变的主谋是谁？从表面看，有的认为是禁军首领陈玄礼；有认为是皇太子李亨的。其实都没说准要害。皇太子与杨国忠势不两立，他却无权指挥禁军。
陈玄礼可以指挥禁军，但他与杨国忠并无直接的矛盾冲突，杀死宰相，围驿逼君，这是谁干的呢？冒着杀身灭族的风险。
很明显，事变的主谋，就是高力士。他长期以来，实际上控制着宫卫禁军；他长期以来，内心反对李隆基委权于宰相，并几次进谏；他明白杨国忠要让李隆基入蜀避乱，而杨国忠身兼剑南节度使之职，蜀地实际上是杨国忠的势力地盘。所以，为了不受制于人，必须在入蜀之前，除掉杨国忠。而缢杀杨贵妃，是为了斩草除根不留后患。在兵变中，陈玄礼是从谋和实施者。至于皇太子，顶多只是预闻并赞同。
李隆基在6月15日，准备继续西行时，百姓拦皇驾，请求留下皇太子，统帅军民东向讨贼，收复京城。李隆基同意分给太子一半兵马，急速西行，经过四十多天的翻山越岭长途跋涉，到达成都。李隆基在四川安全地躲避了两年时间，后在高力士和陈玄礼的护卫下，又返回已经收复的京都长安城。
李隆基在马嵬事变后与皇太子李亨分兵分途，李亨会合从潼关败退下来的部分兵马，兼程北上，赶到朔方节度使的治所唐朝精兵集中的地区灵武（今宁夏灵武）。
7月13日，李亨在灵武即位称帝（肃宗），改年号为“至德”，然后调集部署各路军队，一路进兵河北，一路收复长安。8月12日，灵武派来的使臣到达成都。李隆基得知太子即位，尊自己为太上皇，对高力士说：“吾儿继承大位，顺应天意民心，改年号为至德，是孝而又孝的意思。你和朕还有什么可忧虑的呢？”
高力士心情沉重地说：“陛下亲理朝政四十多年，天下太平无事。突然之间两京失守，百姓流离，西蜀和朔方成为两个皇帝暂居之地，黄河南北直至汉水的大片河山变成战场，天下臣民，无不痛心疾首。而陛下却对臣说还有什么可忧虑的！臣实在不敢赞同。古人曾经说过皇上忧愁是臣子的耻辱，皇上蒙受耻辱臣子就该身死。为皇上之忧而耻，为皇上之耻而死，是做臣子的本分。微臣不孝不忠，枉活到今天，听了陛下刚才的教诲，臣深感不安。”随驾在蜀避难期间，李隆基封高力士为齐国公。返回长安后，又授开府仪同三司。
肃宗指挥大军于至德二年（757）9月，收复了长安。
随即派人入蜀奉请太上皇返京。当高力士和陈玄礼护卫李隆基沿旧路于11月返至凤翔时，随驾禁军只剩下约600人。肃宗派亲信宦官李辅国带3000精骑迎驾。稍作休整后，李隆基在骑兵簇拥下，三天后进入长安。肃宗为太上皇组织了盛大热闹的迎接仪式，让他仍居于兴庆宫。
这时的李隆基，已是73岁的老翁了。宫殿依旧，人事已更，他真正成了“高居无为”之人，不再管理天下事务了。次年冬天，李隆基与高力士来到临潼华清宫重游，昔日的繁华景象，已变成满目凄清。对杨贵妃的思念，使李隆基的清静日子过得不快乐。
虽然，安禄山已被儿子安庆绪杀死，但叛乱并未平息。肃宗忙于军政，还不时前往兴庆宫看望李隆基。为了让他过得快乐，肃宗命女道士玉真公主（李隆基之妹）、旧宫女如仙嫒、内侍王承恩和魏悦，一些梨园弟子，同高力士、陈玄礼一起陪伴侍奉在兴庆宫内。兴庆宫南面的长庆楼，下临大道。过往的百姓，看到太上皇在楼上时，总要参拜欢呼“万岁”。李隆基也常在楼下设宴招待这些臣民。有一次，遇到四川来京奏事的官员，就由玉真公主和仙嫒作主接待，赏赐酒饭。在受到太上皇接待的人当中，有羽林大将军郭英义。这件事引起了性情多疑的肃宗的敏感。特别是乾元二年（759），官军在相州（今河南安阳）吃了一个大败仗，叛军重占了洛阳，形势不容乐观。于是，李隆基的这些举动，使得肃宗心疑他与外人交往，将有所图。宦官李辅国也乘机进言道：
“南内（兴庆宫）可能有别的图谋。陈玄礼和高力士会利用太上皇的威望，不利于陛下。”接着，李辅国又鼓动禁军将士叩头号哭，清将太上皇安置到西内（太极宫）。
肃宗心中忧虑而伤感，沉默无言。