李显继位后，大臣多次要求他出去武则天的人，以防后患，但是他心慈手软一直没有动手，但是李显去世，李旦继位，态度完全不一样，上位不久后就将武家那些人都斩草除根，但是只要一人幸免于难，就是武攸绪。武攸绪能幸存下来也和他的性格有关，他本身就不喜欢官场，之前武则天多次册封，他都觉得不自在，归隐深山，李显继位后，将他接回来当官，不久他再次离开，李旦对此人便没有丝毫的畏惧，这样的人不足以对他的王朝造成威胁。
武攸绪一直四处流浪，虽然一生没有享受过大富大贵，但是他却可以安度晚年，相比那些在官场享福一时的人，他确实幸运许多。
