既然抓到李义府把柄，长孙无忌岂能饶过他，亲自向外甥李治弹劾李义府，并拿出客观证据。唐高宗龙颜大怒，肯定相信舅舅长孙无忌的话，立马写了一份贬官文书，准备第二天就把李义府贬到壁州。李义府关系网甚广，得知此消息连夜进宫面见皇帝。
李义府套路非常深，先是磕头认错，求高宗网开一面，看到皇帝心情稍有缓和，紧接着抛出杀手锏，提出废立皇后的建议。唐高宗闻之大喜，因为多数大臣都反对立武则天为后，唯独李义府鼎力支持，顿时感动不行，如此“忠臣”必须重用，从而打消对李义府贬官的心思。
经此一事，李义府如同惊弓之鸟，时刻提心吊胆，就找袁天罡为他算命。虽然袁天罡不想跟这种人打交道，却又不好意思拒绝，沉思片刻后对他说了8个字：“官至宰相，客死他乡。”李义府认为袁天罡故意诅咒他，气冲冲地离开，从此再也不搭理袁天罡。
几个月后，唐高宗力排众议，改立武则天为皇后，正如袁天罡所料，李义府担任同中书门下三品（宰相）。公元663年，李义府惹怒唐高宗，武则天替他说情都没用，被流放到甘肃巂州，三年后死在那里，估计他临死前必然感叹道：袁天罡啊，你算的真准！
参考文献：《旧唐书·卷八十二·列传第三十二》《资治通鉴·卷一百九十九·唐纪十五》
图片来源于网络
