经此一事之后，李义府并未收敛。他仗着高宗和武则天宠幸，勾结其他官员，大肆卖官。李义府的所作所为很快遭到了杜正伦的厌恶。公元658年，杜正伦与中书侍郎李友益密谋除掉李义府。但绡息不胫而走，李义府知道后跑到高宗面前恶人先告状。后来，三人各执一词，高宗以大臣不和为由，将李义府贬为普州刺史，杜正伦贬为横州刺史，李友益流放峰州。
李义府虽然被贬，但第二年就被高宗召了回去，而杜正伦却死在了橫州。公元662年，李义府将祖父改葬永康陵，征用大批人马昼夜修坟，为此还累死了一个县令。朝中官员出于礼节，争相送出金钱和礼品，送葬的队伍更是浩大有七十里那么长，好不奢华。
公元663年，李义府被升为右丞相。此时的他，更是一人之下，万人之上，朝中官员更不敢得罪他。李义府在高宗面前装得毕恭毕敬，私下里却无恶不作。他的儿子和女婿仗着他的势力，经常在外面惹是生非。
高宗为此警告他："你的儿子和女婿经常做些不法之事，我都替你挡了过去。如果你再不对他们多加管教，我也无力保护他们！"李义府听后，很是生气，问高宗是听何人所说。高宗说："你知道就行，不要问我是谁说的。"李义府见高宗不肯说出告密之人，头也不回的走了。高宗觉得他太傲慢无礼，颇为不满。
