李枕一出生的时候就很多病，并且不爱说话，所以宫中很多人都认为李枕这孩子不聪明，并且李枕还是唐宪宗的第13个儿子，再加上体弱多病，皇室又人口兴旺，所以说这种人根本就没有机会登上皇位的，但是李枕有自知之明，本身就不喜欢讲话，现在就变得更加封闭了。
就这样，时间久了宫里的人都认为他是个傻子，再加上母亲的地位又不高，宫中其他的皇子看到李枕这个样子，都喜欢欺负他，甚至辱骂他，但是每一次李枕都不还口，也不还手，他的行为就和傻子一样。
再后来，有一次，唐文忠在举办宴会的时候，大家都在饮酒作诗，很热闹，但是，角落里只有李枕一个人坐在那里，没有同任何人讲话，唐文忠还和大家开玩笑说，如果谁能让皇叔开口说一句话，必有重赏。
大家一听到有重赏，就马上围住了李枕，都开始想方设法讨他开心，但是不管众人怎么做，李枕就是面不改色，最后大家也只能放弃。在864年，唐武宗病危，但是在之前他并没有立太子，当时所有的皇子年龄都很小，所以没有合适的人选。
