可话虽如此，李义府内心的郁闷还是可想而知的。当时，朝中有两个人的文墨最为出众，一个是李义府，另一个叫来济，两人并称"来李"。来济只比李义府大三岁，最初官职也跟李义府差不多，但随着时间的推移，来济已被提升为宰相，李义府却一直在原地踏步。
但到了永徽六年，李义府连这种原地踏步的机会也没了。大概是由于他在工作上犯了一点小错误，对他横竖看不顺眼的长孙无忌便打算将他调到四川壁州（今四川通江）担任司马。
得知这个消息，李义府很郁闷。他知道，一旦被调离长安，也许这辈子就没机会再回来了，毕竟自己出身于庶族，在朝中没有一张属于自己的家族网络支撑，而原来的靠山马周早死了。可是能抗令吗？说不定长孙无忌就在等他违令，然后干脆将他的官衔全给夺掉。想到这儿，李义府不禁义愤填膺，同时苦苦思索着对策。
忽然，他想到了一个人。这个人叫王德俭，跟李义府一样同为中书舍人，性情狡诈且多智。听说这事后，王德俭还真给李义府出了一个主意。而恰恰就是他的这个主意，让李义府的仕途命运转了个弯。
