唐高宗永徽六年（655），也就是武则天封后的第二年，武攸绪出生。尽管家族已经飞黄腾达，但他却养成了恬淡寡欲的秉性。
《新唐书》记载了一件他年少时干过得不同于其他贵胄子弟的趣事。
当时武氏家族在长安城里，几乎是要风得风，要雨得雨，就连一般权贵都要对其避让三分，就更别说黎民百姓了。面对身边人对自己武氏宗族子弟身份的畏惧，年少的武攸绪所幸隐姓埋名，给自己换了副模样，跑到人堆里给人卜卦算命。
他就像是个再普通不过的算命先生，只要别人给钱，他就算卦。只要这钱赚到了自己手里，他就收拾收拾摊子，果断走人。别说让炙手可热的武三思自己出来挣钱了，就是让他不带护卫站在人堆里，他肯定都不乐意。
