有一天，李义府遇到一个术士杜元纪。杜元纪说他的宅地风水不好，会有牢狱之灾。要想破除灾祸，要两千万钱才能消灾。李义府信以为真，趁给母亲吊丧期间，大肆搜刮钱财（公开卖官）。为此，他意然搜刮到了长孙无忌孙子长孙延那里，并答应给其司津监的职位。
李义府这种行为，被其他人认为是图谋不轨。仓曹参军杨行颖把此事上奏到高宗那里。李义府之前在高宗面前傲慢无礼，现在又索取无度，高宗一气下之将他贬至巂州。公元666年，高宗去泰山封禅，所有被贬官员都要参加，但高宗没有让他参加。李义府本想借高宗封禅之机东山再起，却不想会是这样的结果。为此，李义府忧愤成疾，同年病死，时年五十二岁。
公元692年，武则天感恩于他当年力挺自己，追赠他为扬州大都督。但唐睿宗李旦即位后，又收回了他的封号。所以说，做人不要太高调，够吃够喝就行了。
