就在李渊想要放了刘文静的时候，裴寂却对皇帝说"刘文静虽有才能却心胸狭隘，天下尚未一统，应当杀了他以绝后患。"李渊采纳了裴寂的建议，杀了刘文静，李渊退位后，裴寂的地位就变得尴尬起来，作为前朝皇帝的心腹，裴寂自然不会得到李世民的重用，但裴寂生性谨慎，李世民又没有理由处置他，贞观三年的时候，妖僧法雅因为涉嫌谋逆被处死，裴寂在闲暇时，偶尔会听法雅讲经，按说这件事可大可小，谁让裴寂与太上皇交好，此事注定不会善了，裴寂为了留在京城，曾向唐太宗求情，唐太宗斥责裴寂枉顾圣恩，并未宽恕后者，在法雅的牵连下，裴寂被迫返乡。
裴寂长途跋涉，回到了汾阴后，又在不经意间做了一件错事，当地有一个名叫信行的狂士，二人偶遇后，信行对裴寂的家仆说"尔主有天子之相，"这个家仆听到后，第一时间把信行的话专属给了裴寂，裴寂情急之下，竟然让一名心腹处死家仆，裴寂的心腹一时心软，偷偷放走了要被处死的家仆，后来，仆人向官府禀报了这件事，李世民得知恼怒异常，遂将裴寂贬到了静州。
