后来瓦岗军越战越勇，因为多次击败隋军而威震天下。此时，瓦岗军的领袖翟让看中了李密的才能，想要让位给他，但是却被翟让的哥哥所阻止，此人还想要暗中除掉李密。李密也不是个省油的灯，最终杀了翟让，成为了瓦岗军首领。然而，却也因此使得瓦岗军内部不稳，为隋军所击败。
此时李密已经知道瓦岗军没有前途了，于是便看上了新起之秀李渊，并前去投奔。李渊见了李密之后，甚为高兴，并将其封为了邢国公。然而，李渊心中还是忌惮李密的才能的，毕竟之前瓦岗军曾经威震四方，于是李渊便给了李密一个光禄卿的官职，并暗中设计逼他谋反。
何为光禄卿？这是职位简单来说便是负责宫中的酒宴，这对于李密而言，无疑是大材小用了，李密自然是郁郁寡欢的。然而，李渊还做了更为过分的事情。有一次李渊宴请群臣，并让李密去给这些人上菜，要知道这些人中有很多都曾经是李密的手下，这让他很没有脸面。
