不仅如此，在稍微大了一点的时候，开始苛政杂税，搜刮钱财。弄的事民不聊生，这些传到李治耳朵里，毕竟是自己的亲叔叔，也不能直接杀了，于是把他食邑和随从减半，贬到偏僻的洪州，想着这样就不会给皇家丢脸了，没想到的是，到了洪州，更甚，直接开始抢当地官员的妻妾，官员一看这是当今圣上的亲叔叔，肯定不敢拦着，这些官员的妻妾却不乐意，有一个将他的脸给抓破了，这下可打皇家的脸了。
后来这事弄得人尽皆知，所有人都知道这是个贪财好色的无赖之人，李治也不想管他了，于是将其再次贬到苏州任期自生自灭，到那里没多久之后，征集当地能工巧匠在赣江之滨修建了一座高耸入云，闻名于世的滕王阁。此后的李元婴仿佛一改常态，终日在滕王阁之内弄诗作赋绘画，也不得不说，李元婴的特长便是有着极高的绘画天赋，独创一派，为滕派蝶画，所作的蝴蝶栩栩如生，至今已经传承千年。李元婴是真傻还是假傻这就不得而知了，不过要说的是，在武则天掌权后，李氏不少宗亲被她收拾了，而李元婴未受波及。
