众将士有的主张到太原，有的主张到西北。高力士劝玄宗入川蜀，玄宗听从了。玄宗动身时，百姓拦道。玄宗派太子李亨安慰百姓。宦官李辅国和一些将领趁机要求太子李亨号令天下，组织军民抵抗叛军。玄宗无奈点头同意。不久，高力士追随玄宗进入四川。李亨率军民北上到达甘肃灵武，登基为帝，开始了艰难的平叛斗争。
一年后，唐军收复长安。肃宗思念远在四川的父皇，于至德二年（757年）九月，派使者入蜀迎玄宗回京。十二月三日，玄宗在肃宗的陪同下回到长安，住进兴庆宫。几天后，肃宗封高力士为齐国公、开府仪同三司，实封五百户。江山易主，高力士没有实权了。
玄宗住在兴庆宫。肃宗经常前来问候，玄宗也经常去大明宫看望肃宗。肃宗命戏子唱戏，天天供玄宗消遣。
玄宗常常安排酒食招待客人，在楼上宴请郭子仪和王铣等将领，并赏给他们很多东西，这引起了肃宗的猜忌。此时肃宗左右为难想采取相应的措施，又怕人们说他不孝。不久，李辅国向他献了妙计。
李辅国想立奇功来巩固自己的地位，他对肃宗说："太上皇住在兴庆宫，每天与文臣武将来往，另外，陈玄礼、高力士对陛下不利。现在六军将士都是陛下的功臣，非常不安。"
肃宗哭道："父皇仁慈，怎会害我呢？"李辅国说："就算太上皇不想做，但每天有一帮小人在他耳边怂恿，终究危险。陛下贵为天子，不应被仁孝束缚，应为天下着想。兴庆宫围墙低矮，与城外相连，不适合太上皇住。陛下应请太上皇搬到太极宫去，杜绝小人进入，以使太上皇安享晚年。"
上元元年（760年）六月，李辅国撤走兴庆宫的御马，只留下十匹老马。玄宗对高力士说："我儿被辅国所误，恐不能守孝道了。"七月，当玄宗一行来到睿武门时，李辅国率领五百名全副武装的士兵，拦住去路。李辅国说："兴庆宫潮湿，迎太上皇迁居太极宫。"
75岁高龄的玄宗大惊失色，高力士喝道："李辅国，你想干什么？"李辅国破口大骂："你这老不死的，滚！"李辅国手起刀落，杀死一个宦官。
高力士大喊："还不快放下武器，参见太上皇！"五百将士纷纷放下武器，高呼万岁。
李辅国乖乖地把玄宗送到太极宫。事后，玄宗对高力士说："今天若不是将军，寡人恐怕被杀了。"从此，玄宗过着囚徒般的生活，身边只有几十名老弱的仆人。
九天后，肃宗下诏，说高力士图谋造反，念其久侍太上皇，发配巫州。同时，宦官王承恩和魏悦分别流放到潘州和溱州，陈玄礼回家休养。77岁的高力士带着十来个家人、仆人离开京城。一路上，他备尝艰辛，两月后到达巫州。在流放地，高力士念念不忘玄宗。
762年四月初五，唐玄宗逝世。四月十八日，肃宗被李辅国杀死。四月二十日，太子李豫即位为代宗。
高力士被召回京城居住，七月，他刚到达朗州，听说玄宗与肃宗相继驾崩，无比哀痛。八月，高力士病逝。
李林甫出身唐朝皇族，依附玄宗宠妃武惠妃，官拜礼部尚书、同平章事。李林甫在相位19年，争权夺利，残害忠良，牢牢控制着政局，以阴险的铁腕手段而闻名。他口蜜腹剑，妒贤嫉能，是唐朝有名的奸相。