人传他和妖言惑众的和尚法雅有牵连，唐太宗立即公布了他现时的罪状，数落了他以往的失职，把这个帮助他起事的老叔赶到了蒲州老家，做个平头百姓。唐太宗是难容老叔的：当日赚了他的钱，一不能容；作为知根知底的元老，二不能容；作为太上皇的密友，三不能容；有此三不容，裴寂只得卷铺盖走人。
走了之后的裴寂，也难安生。狂人信行称"裴公有天分"，朝廷获悉后，他先后被流放到交州、静州。羌人起事，裴寂带家僮给平定了。唐太宗还算开恩，念及老叔的旧勋新功，将他召回了首都。满花甲之年的裴寂，重新来到长安，百感交集，然他无福消受了，不出多久便抑郁而终。
