等到玄宗晚年政治腐朽，安史之乱爆发，唐玄宗最后才悔恨交加。对着高力士吐露真言：悔不当初。 唐玄宗悔不当初已经自我放，士兵兵围马嵬坡，要求李隆基给个说法，因为杨国忠谋反，众人迁怒于杨贵妃。唐玄宗此时仍在贵妃与天下之中难以分割。唯有高力士继续进劝，孰轻孰重，由于玄宗选择。也有可能是玄宗终于想明白。后续就有了杨贵妃之死。高力士在贵妃之死中的作用却让人不能忽略。同时天地可鉴，高力士在李隆基和杨玉环中间选择了李隆基，或是身份地位使然，个人更认为是高力士心怀天下与旧主之故。
政变突起，众人仓皇西川逃亡，后又有玄宗入蜀，直至收付西京，平息叛乱后，玄宗回到了长安，陪伴在他身边的只有高力士了。政权更改，此时掌权的已经是唐肃宗了。而唐肃宗的大宦官李辅国趁着玄宗肃宗矛盾之时，趁机挑拨。流放了高力士。
身为宦官，高力士出头显得总比别人容易些，因为接触的人非富即贵，但同时他又是悲哀的，一辈子被扣上了权宦的名字，青史留名难以肃正。玄宗肃宗已经成了一抔黄土，高力士死时七十三岁，已经是古代高龄了。他死后，唐代宗非常感动于高力士一生的作为。以高力士为前朝耆旧，保护先帝有功，于是下令恢复高力士过去的官爵，死后追封为扬州大都督，下葬在了唐玄宗的泰陵。他终是和年少时追随的人一块了。两京作斤卖，五溪无人采。夷夏虽有殊，气味终不改。《咏荠》（亦名感巫州荠菜》），不知道的人会嘲笑着几句诗毫无文采，但了解高力士的人就会明白其中的悲凉和心酸，更有悲壮之感。
