玄宗入蜀后，先前与高力士同受宠信的官居三品的内侍监袁思艺投降安禄山，高力士则因从幸成都、护驾有功进封齐国公。肃宗即位后，帝闻肃宗即位，玄宗“喜曰”：吾儿顺天应人，改元至德，不忘孝乎，尚何忧？”力士曰：“两京失守，生人流亡，河南汉北为战区，天下痛心，而陛下以为何忧，臣不敢闻。”的确，不仅肃宗即位时的战况是不容乐观的，在复杂残酷的宫廷斗争中，玄宗返回长安后肃宗对乃父的态度，也绝非玄宗所愿的“不忘孝”。疾风知劲草，危难之际，高力士既对唐玄宗忠心耿耿，追随身旁，又能在大是大非的问题上把握时机，及时进谏，提醒玄宗，在当时的社会条件下，可谓处事干练的忠臣，西京收复后，他随玄宗返回长安。肃宗上元元年（760），因保护禅位的玄宗，为当权的宦官李辅国所恶，被流放巫州（今湖南黔阳西南）。宝应元年（762）赦还，至朗州（今湖南常德）卒。
据史料记载，安史之乱平息以后，玄宗被迎接回朝，并尊为“太上皇”。儿子肃宗不希望太上皇管朝政，儿媳、肃宗的皇后张良娣及宦官李辅国就暗中配合，常常挟制迫害玄宗，一般旧臣，早都忙着投靠新主子邀宠去了。倍感寂寞的唐玄宗，左右只有一个人陪伴，那就是高力士。
上元元年即公元760年，以拥戴肃宗有功的大宦官李辅国乘肃宗父子之间的矛盾，诬奏玄宗与高力士“日与外人交通”，又借口‘请太上皇到太极宫游玩’，强行把玄宗迁往西内。玄宗骑马行至睿武门，却被忽然涌上的五百名手执出鞘兵刃的禁军拦住了去路。为首的正是李辅国，他傲慢道：“陛下说，太上皇居住的兴庆宫太过狭小不便，请您去太极宫居住！”玄宗受了惊吓，几乎掉下马来。高力士连忙扶住玄宗，走上前去厉声面斥李辅国：“五十年太平天子，李辅国汝旧臣，不宜无礼，李辅国下马！”李辅国不觉失辔而下，又看了他一眼，遂冷笑道：“高公公，真没想到事到如今，你怎么还那么不懂事？”言罢便一刀砍死了高力士身边的一名小宦官。高力士面对李辅国的威胁面不改色，直接对那五百骑兵喊话道：“太上皇诰曰，将士各得好生！（大家辛苦了！你们在太上皇面前拔刀拦路，就不怕犯王法么？）”他的气概把李辅国和五百禁军纷纷镇住了，皆慌忙收刀下马跪倒齐呼“太上皇万福”。局面算是初步稳定了下来，但高力士是个明白人，知道重回兴庆宫已是不可能的了，唯一能做的只有保护玄宗安全了。怎么办呢？他就直盯着李辅国道：“李辅国拢马！”李辅国看了看他，只好悻悻然过去把马缰拉住，这样一来，他与李辅国两人一左一右牵着玄宗的马，平安把玄宗护送到了太极宫。宫门关上之后，李辅国才得以带兵离去。而玄宗握住高力士的手已是泪流满面，说：“微将军，阿瞒（玄宗小名）已为兵死鬼矣！”
高力士的行为，深深得罪了李辅国，不久李辅国就勾结张良娣私下诏书：“上元初遭谤迁讁安置巫州，知与不知，皆为叹息。”将高力士强行从玄宗身边拖走，所以才会有了后来的流放，平素行事谨慎的他，为了玄宗，不惜得罪权势滔天的李辅国，是怎样的忠心？应当说，这个荣与辱大起大落的著名宦官，在当时的历史环境里，做到了一个古代忠臣的所能做的一切。
史料记载，力士至巫州时，随从不过十几人，所余衣粮，仅够数月之用。翌年，第五琦也谪至夷州，与高力士萍水相逢，两人饮酒叙谈。高力士回顾往事，无限伤感，即席赋诗曰：“烟薰眼落膜，瘴染面朱虞。”之后，对左右说：“宰相犹如此，余何以堪！”左右听了，无不涕泗交流。宝应元年（762年）四月，玄宗和肃宗相继去世。李豫即位是为代宗，改元大赦天下。流放于巫州的高力土遇赦回京。六月，他得到玄宗去世的噩耗，“号天叩地，悲不自胜”，每一号恸，数回气绝。七月，到朗州（今湖南常德）时由于哀毁过度，哽咽成疾。他对左右说：“吾年已七十三，可谓寿矣。官至开府仪，可谓贵矣。既贵且寿，死何恨焉。所恨者二圣升遐，攀号不逮；孤魂旅榇，漂泊何依？”八月八日在朗州开元寺的西院去世。代宗以高力士为前朝耆旧，保护先帝有功，遂诏令恢复他过去的官爵，并赠扬州大都督，许配葬玄宗的泰陵。