说贺兰敏之这个人，本来就大胆不羁，桀骜不驯，又容易恃宠而骄，且他本来就是血统高贵，英俊潇洒，才华横溢，是个正儿八经的高富帅，各种各样的女人几乎应有尽有。按理说，这样的贺兰敏之要什么样的女人都有，但他偏偏从来不挑。服侍他的侍女们，几乎都未能逃过贺兰敏之的"魔爪"。更令人瞠目的是，贺兰敏之竟然还堂而皇之地强暴了太平公主的侍女，就连当时身为幼童的太平公主差点也落入了贺兰敏之的囊中。此事传到武则天耳中，武皇暴跳如雷。
贺兰敏之坐在有权又有钱的位置上，每天享受着非一般的待遇，但即便是这样，他也没有感到满足。贺兰敏之对于女人的欲望越来越放肆，甚至于当他看上了当时被选为太子李弘之妃的司卫少卿杨思俭之女。即便是眼看着婚期将至，贺兰敏之心心念念此女甚美，牵肠挂肚，竟然强上了杨思俭之女。这一下，杨姑娘既失去了太子妃之位，又失去了古代女子心中极为重要的贞洁，哭的肝肠寸断。太子妃的人选也从她变成了裴居道之女。
要说贺兰敏之做出的最出格的事情、最让他"名垂青史"的事情，莫过于贺兰敏之与他的外祖母荣国夫人的桃色新闻。荣国夫人姓杨，是隋朝傥城郡公杨绍孙女，纳言杨达之女，且出身隋朝皇室。这两人既是血亲，又都是名门望族，年龄上还差着十万八千里，竟然也扯出了此等荒谬的通奸之事。武则天知道后更是忍无可忍，因为荣国夫人杨氏，是武则天的亲生母亲！贺兰敏之的这一件事情让所有人都大跌眼镜，当时的荣国夫人已经八十多岁了，无论是从伦理纲常还是正常的男女关系来讲，都是很不正常的。贺兰敏之此人既骄傲又自大，但在时代背景下，也不得不沦为帝后的玩物。很难说他做出这种匪夷所思的事情，不是出于他盛怒和极端仇恨之下对于武则天的报复。
