李密早年是隋炀帝的一名卫士，史书记载他"额锐角方，瞳子黑白明澈"，长相非常有特点。有一次隋炀帝在一群卫兵里无意中看到了李密一眼，然后就觉得很不舒服，他问宇文述："那个黑脸的小伙子是什么人？"宇文述回答："那是已故蒲山公李宽的儿子--李密。"隋炀帝又说："此人的两个眼珠一直转来转去，人也在那里左顾右盼，以后不要让他担任卫士了！"就这样，李密的仕途便戏剧般地结束了。
回到老家后，李密开始发奋读书。有一次，宰相杨素骑马经过那里，发现李密坐在牛背上看书看得非常入神，就非常欣赏他，经过攀谈，杨素觉得此子不是常人，回来他就对自己的儿子杨玄感说，此人的见识在你之上啊！从此以后，杨玄感便诚心诚意的和李密交往，这便是著名的典故"牛角挂书"的由来。
