不过由于这个机构成立的时间不是很长，后来被有名的宰相狄仁杰上书提议给裁撤掉了。所以很多人都不知道他的存在，但是武则天的四大男宠因为作恶多端，被后人牢牢地记住了。
这四个人分别是冯小宝后改名为薛怀义、沈南璆、张昌宗、张易之兄弟俩。其中最早来到武则天身边的，也是其中唯一一个算是对大周有点贡献的人就是薛怀义了。
薛怀义是在武则天登基之前就被送到武则天身边的。他是由武则天的姑婆，千金公主送给武则天的。因为武则天登基之前开始清理李氏族人，这个千金公主虽然辈分比武则天高，但是她也怕武则天是收拾自己，为了活命就想到了这么个办法，自降身份，认了武则天为干妈。然后找了个男宠送给了武则天。
