李世民成功上位后，因为感觉徐世勣太滑头，所以也不敢把他当作"自己人"。唐太宗在临终之前对太子李治说："李勣此人能力太强，你对他没有恩情，他日后是不会服你的。所以我在死前会将他贬为外官。你上位后提拔他为仆射，他必定会对你感恩戴德，死命尽忠。"后来唐高宗李治继位，按照父亲的嘱托提拔徐世勣尚书左仆射，徐世勣果然对李治忠心耿耿。
当李治因立武则天为皇后而与群臣闹翻时，徐世勣却旗帜鲜明地站在武则天这一边。并对李治说："陛下的家事，外人又岂好过问呢?"李治大喜，立武则天为后。所以日后武则天的上位，徐世勣功不可没。那为何武则天在其死后又要掘墓砍棺呢?主要是因为徐世勣的孙子李敬业公开反叛武则天，起兵造反。徐世勣受孙子的连累，才受这无妄之灾。
