李揆在做刺史期间，下属多次向他推荐一个名叫元载的年轻官员担任要职。自视出身高贵的李揆竟然轻蔑地说："天下有名望又出身高的贤士那么多，你怎么偏要推荐一个出身穷酸的人，凭他就可以担任重要职位吗？！"元载听说后，从此对李揆怀恨在心。
宝应元年（762年）四月，唐代宗李豫登基，大太监李辅国一时间权倾朝野。当年被李揆看不起的元载因与李辅国交好而被提携为宰相。元载为报受辱之仇就故意调李揆为秘书监，又借口李揆身体不好而谴到江淮养病，同时却不给他发放任何俸禄。
李揆带着全家一百多口人搬迁到江淮，又因天灾人祸兵荒马乱而丧失了所有家财，身无分文又无俸禄，最后竟沦落成乞丐靠沿街乞讨为生。李揆生性高傲目中无人，自己都落到这步田地还不肯忍受当地官员的丝毫怠慢，以至于只要有人稍微轻视他，他就带着全家老小搬家。如此一来，长达二十年的讨饭生涯中，李揆竟搬迁了十几个州郡。
大历十二年（777年），宰相元载获罪被唐代宗罢职赐死。乞讨了近二十年的李揆跑回京城面见皇上，唐代宗见他衣衫褴褛形容枯槁，心中大为不忍，又提拔他做了睦州刺史，后来又升迁为礼部尚书。唐德宗兴元元年（784年），李揆因病去世，终年七十三岁。
