之后李义府又因为李崇德曾经跟他有过节，于是命人罗织罪名，将李崇德下狱，李崇德在狱中自杀。
于是唐高宗实在看不下去，就提醒了李义府几句，谁知李义府不仅不收敛，反而把李治的提醒当放纵，还大肆联合家人卖官鬻爵，在朝多引心腹，广结朋党。
李义府还向长孙无忌之孙长孙延索取七百贯，授给他司津监的官职，结果被右金吾仓曹参军杨行颖告发。
忍无可忍的唐高宗李治最终决定拿下李义府，李义府被贬，长期流放巂州，其子婿也受到惩戒。
公元666年，乾封元年，唐高宗封禅泰山，大赦天下，但却不许长期流放的罪囚返回。李义府忧愤不已，发病而死，时年五十三岁。
所以，我们纵观李义府的一生，他算不上奸臣，唐高宗李治不是傻子，也不是昏君，而武则天更不是昏君，李义府只是一个工具而已，用完了被李治和武则天一脚踹开，我们从李治泰山封禅一事就可以看得出名，大赦天下，也不许李义府回来，可见他们是心知肚明的。
因此，李义府不是奸臣，而且他自始至终对李治和武则天忠心耿耿，助力武则天发迹，帮助她。
