贺兰敏之也有过一段非常风光的时期，但是随着杨姥姥的去世，他的好日子也结束了。杨姥姥就是武则天的母亲，对于贺兰敏之这个外孙是非常喜欢的，但是让人意想不到的是，杨姥姥居然和自己的亲外孙传出了绯闻，89岁的时候还和亲外孙暧昧不清，为什么这么说呢？因为在贺兰敏之死后，武则天列出的罪名中就有一个罪名是贺兰敏之烝于荣国夫人。"烝"是什么意思呢？就是父亲不在世了，他们的亲戚也可以被继承人继承，虽然这种行为在一些地方是被认可的，但是也是一种违背伦理道德的做法。
关于杨姥姥和自己的亲外孙暧昧不清这件事，很多史学家也是有一些疑问的，武则天为什么要给贺兰敏治安这样一个罪名呢？难道就不怕影响他母亲的名声吗？武则天这样的做法，可以说是牺牲了杨姥姥的名誉，她就这么恨贺兰敏之吗？甚至不惜弄坏自己母亲的名声，要知道古代女人对于名声是非常看重的，贞洁大于性命，武则天为什么要这样做呢？武则天和他的姐姐韩国夫人两人的关系是非常好的，韩国夫人带着自己的女儿贺兰氏来到皇宫看望皇后武则天，结果母女两人都被皇帝给看中了，后宫中妃子争斗是非常惨烈的，对于她们武则天自然也有些忌惮，没过多长时间贺兰氏就中毒而死。贺兰敏之得知后嚎啕大哭，武则天觉得他已经怀疑到了自己，于是就有了除去他的想法。
而且当时武则天已经为自己的儿子挑选好了太子妃，但是在成婚之前，贺兰敏之贪恋她的美貌，竟然将她给强暴了，这样的罪名也是必死无疑了，除了这一罪名之外，武则天还列出了他的另一条罪名，据说杨姥姥身边的宫女也被贺兰敏之玷污了，从这些罪名就可以看出，贺兰敏只是一个比较放荡的恶少，据说就连太平公主也险些遭遇他的恶手。贺兰敏之为何这么放纵呢？应该是出于对武则天的敌意，毕竟就算他身出名门，但是母亲和姐姐却没有能力保护，反过来还得感恩武则天，帮助他来争权夺利，所以为了抒发心中的郁闷，所以才会这么作。武则天虽然重用他，但并不代表他需要一个浪荡不堪的公子哥，对于武则天来说，一切都要为权力让路，何况是不能够给他带来利益的贺兰敏之。
