不过这人那，他不可能一直交好运。就在他正春风得意的时候，武则天的第二个男宠出现了，叫做沈南璆。原本是宫里的太医。他这一出现，这武则天自然对这个薛怀义就有点冷落了，再加上他平日里飞扬跋扈，恃宠而骄，做了很多孽，所以很多人去武则天哪里告状。武则天就让自己的女儿秘密的把这薛怀义给弄死了。
这四个人中间也就这个沈南璆算是没有做过什么大恶，因为他得宠的时间并不是很长就死了，而且还是自己把自己给作死的。因为他得宠的时候已经四十多岁了，身子骨已经不行了，为了应付武则天就一个劲儿地吃药进补，他虽然是太医，但是古代那时候医学本身就不发达，虎狼之药吃多了，毒性也就大了，所以很快就被毒死了。
这身边没有了男宠武则天的日子可是不好过了，此时她的女儿太平公主看透了母亲的心思，就给她精心挑选了一个男宠叫做张昌宗，小伙儿年轻漂亮，而且有文化，琴棋书画都通，深得武则天的喜爱，他进宫没多久就又把自己同父异母的哥哥叫做张易之也给推荐进来。
