据说，柱国这个位置并不是没有贡献的人可以当的，可是李敏就因为是杨丽华的女婿，不费吹灰之力就得到了这样的位置。在杨广继位5年后，杨丽华去世了，按照当时的律例，杨丽华去世之后，她的食邑是应该被收回的，可是她却转交给了李敏，并且还替李敏求得了一个很不错的职位。
李敏的地位一下子水涨船高，并且他的家族也在朝中有着很重要的地位，甚至出现了嚣张跋扈的行为，一些大臣对于这样的行为也是敢怒不敢言的，不过这个时候也有大臣说民间有谶语说"李氏当为天子"，这就遭到了很多对他不满的人，纷纷劝言杀了他。
因为流言蜚语多了，很容易让人信以为真，杨广在找到李敏时就暗示他以死证明自己的清白，可李敏却请在朝中担任大将军一职的李浑商量，这一商量又被宇文述诬陷他们是在结党营私，密谋叛乱，所以杨广把他们抓了起来，可是审来审去什么也没有审出来。
