韦昭度的《续皇王宝运录》和令孤澄的《贞陵遗事》记，不知出于什么心态，唐武宗多次搞恶作剧，想把这个"光叔"整死，以至出现了李怡"常从驾回，而误坠马，人不之觉"的奇怪事情。不过，尽管李怡多次"坠马"，且"人不之觉"，甚至有一次是在大雪天夜里"坠马"在荒野郊外，昏倒沉睡了一个晚上，最终还是活了过来。唐武宗后来干脆让中常侍四人将李怡抓来，浸在大明宫厕所里。有个叫仇公武的宦官觉得李怡这个傻子是奇货可居，留了个心眼，偷偷把他捞了出来，用粪土覆盖，俞运出宫。李怡从此离开长安，流落民间……甚至出现在浙江盐官(今浙江海宁西南)的安国寺落发为僧，法名琼俊。后世大文豪、著名的佛教居士苏轼有感于李怡这段传奇人生，还作了首诗：
已将世界等微尘，空里浮花梦里身。
岂为龙颜更分别，只应天眼识天人。
会昌六年春，唐武宗病危，不希望大权旁落的宦官仇公武、马元贽等人把痴呆和尚李怡迎回了长安，积极运作，帮他改名为李忱，使之成为了唐朝的第十八位天子。
