但等到武则天的第一个亲儿子李弘到了3岁，王皇后与武则天宫斗失败被废，13岁的李忠好日子就到头了。有许敬宗这样的奸人主动出现，打着直谏的旗号提出了一些建议，许敬宗的文采确实很好，骈四俪六的，天上地下一番话，让李治觉得确实应该让李忠把太子的位置让给李弘，于是李治也就这么做了。
失去太子位置的李忠继续长大，原来支持他的王皇后一系彻底垮台，"常恐不自安"，甚至私下穿着女子的衣服以防备刺客。还经常做噩梦，醒来之后自己给自己占卜。
这些事情又有类似许敬宗一样的人向武则天告发，李治就把自己的长子废为庶人，送到黔州（现四川彭水），囚禁在当年关押李承乾的宅子里。几年后，上官仪废武案发，负责审理此案的许敬宗顺手在案子里把李忠刮了进来，李忠被赐死，年仅22岁。其母也在第二年去世，死因不详。
第二年，刚刚14岁的太子李弘上表请求安葬自己的大哥，李治可能这时才想起来自己的大儿子是被草草埋葬的，良心发现就同意了。
李治的第二个儿子叫李孝，母亲也是个身份不高的普通嫔妃。这个孩子史书上只提了几句，与其大哥李忠同年死去，死因不详。
