虽然出生帝王家，但由于母亲的宫女身份，李忱在宫中的地位并不高，可以说如果按照正常的继位顺序，几乎永远没有可能当皇帝。从小被其他皇子嘲笑捉弄的李忱也十分清楚这一点，为了掩饰内心的卑怯，他便将自己封闭起来，面对别人的冷嘲热讽，通常都是沉默不言。
在常人眼中这是性格孤僻木讷，但是在小孩的世界里，打不还手、骂不还口的就是傻子。起初是同龄人认为他傻，后来说得多了、久了，大人也觉得这个神情呆滞的皇子脑袋有问题，渐渐地，李忱便被贴上了"智障"的标签，成为了更多人争相欺负的对象。
一日，唐文宗李昂宴请诸王，席间众人推杯换盏，十分热闹，只有李忱一人不言不语坐在角落发呆。李昂看到了，便指着他说："谁能让李忱开口说话，朕重重有赏。"李昂本来是李忱的侄子，可是在他眼里，这个叔叔显然只是一个供人取乐的傻子。面对一哄而上的诸王，李忱依然保持沉默，不管他们怎么戏弄，面色丝毫不改，始终一副逆来顺受的样子，这让众人很是得意。
