于是隋炀帝回宫之后就问自己的大将军宇文述："刚在卫队左边，那个脸黑黑的小伙子你认识吗？"宇文述说："他叫李密，是蒲山公李宽的儿子。"隋炀帝说："这小子的眼神儿总是左顾右看，恐怕心怀鬼胎，你别让他在宫里当差了。"
宇文述很为难，好歹人家也是个国公的儿子，总不能说开除就开除，得罪了国公爷，以后还混不混了。想了很久，宇文述才去对李密说："贤弟你这么有才华，应该好好读书，考取功名。当个警卫，做些杂活儿太屈才了。"
李密这人经不起夸，他听宇文述这么说，高兴坏了。很快就主动辞职，回家专心读书去了。但是他读书并不是默默地读，他生怕别人不知道自己在读书，甚至学古人那样，将一本汉书挂在牛角上，自己骑在牛背上。他走到哪儿，牛就骑到那儿。不久之后，全京城的人都知道了有个叫李密的人，特别喜欢读书。
