公元七六年十月末，高力士被强行押往巫州。临行前，他苦苦哀求，希望能与玄宗皇帝见上一面，李辅国派去的人断然拒绝了这一点可怜的请求。巫州可谓唐王朝的"西伯利亚"。当时，那里的大部分地区尚未得到开发，充满了能置人于死命的漳气，各种各样的疾病无时无刻不在威胁着外地的被流放者的健康。
到了巫州，高力士的身体一直不怎么好。他虽然一向号称"百病不侵",但毕竟已经是七十多岁的人了，何况此次远行，远离了他几十年来很少离开过的玄宗皇帝，心情抑郁，根本没有什么好情绪。当时的巫州，主要有两种居民，一种是土生土长的本地人，另一种则是些被流放的"外来户"。
在为数不少的"外来户"中，只有一个人和高力士比较谈得来。这个人姓柳，名芳，原来做过几任小官，因为得罪了李辅国，故而也被贬谪于此。柳芳本人久闻高力士的大名，高力士独居寂寞，两人一见投缘，一天天地谈论起开元、天宝年间宫廷中的一些逸闻趣事。这些趣事被柳芳一一地记录下来，后来辑录成一个册子，书名叫《问高力士》,并没有得到流传，幸亏稍后于他们的宰相李德裕编撰了一本《次柳氏旧闻》,才多多少少地为我们保留了一些当年的历史。
