李世民教不好李愔，只好把李愔调离岐州，还把李愔的封户和属官减半。唐高宗即位之后，念及兄弟之情，恢复了李愔的封户和属官。李愔见唐高宗对他好，老毛病又犯了。
李愔带着卫队去打猎，又要踩踏老百姓的农作物。卫队长杨道整拦住李愔的马，不让李愔祸害老百姓的农作物。李愔火冒三丈，当众把卫队长暴打一顿。卫队长是皇帝派给藩王的属官，藩王打了卫队长，就等于是打皇帝的脸。
李愔这次的祸闯得太大了，唐高宗不处理李愔，天子威仪就会受到挑战。唐高宗没办法，只能一方面全国通报表扬卫队长杨道整，另一方面严厉批评李愔。唐高宗下诏，给卫队长升官，然后把李愔贬到黄州。
