然而在武攸绪看来，权势和财富都是不值得自己费尽心思追求的东西。相较于华宅美眷、官职爵位，他更喜欢做个无忧无虑的山水看客，林鸟知音。因而尽管自己受到荫蔽，获得了官爵，他还是对其生不起半点兴趣。
弘道元年（683），武则天以太后身份临朝称制，武攸绪被任命为太子通事舍人。天授元年（690），武则天称帝以后，武攸绪又被姑姑封为安平王，并先后任殿中监、扬州大都督府长史、鸿胪少卿、千牛卫将军等职。
但到了万岁通天元年（695），刚过不惑之年而对俗世彻底失去兴趣的武攸绪，实在是不想再被桎梏，便辞去所有官职、爵位，搬进了嵩山。这一搬，便是不与外界交往的二十年。
在此期间，无论武氏翻出多大的风浪，武攸绪都不过问，只一心研究《周易》和道教。读书，弹琴，炼药，垂钓，纵情山水，便成了他生活的全部。
