裴寂回到老家山西汾阴后，有一个叫信行的狂人见过裴寂一面，信行对裴寂的一个家僮说："裴公有天子之相！"家僮听闻后，立即转告裴寂。裴寂不敢声张，暗中派人将家僮杀死。只是，被派遣的人心软，偷偷将家僮放走。不久，家僮因犯罪被官府抓住，为了保命，家僮将此事说出。李世民听闻后，大怒不已。怒斥裴寂结交妖人、知情不报、杀人灭口，将裴寂流放到四川静州。
裴寂已经60岁，垂垂老矣。到了静州之后，有人举报裴寂和羌人联合，举兵谋反。四川官员吓得够呛，立即八百里加急上报朝廷。谁知李世民得知后表态：裴寂不可能造反！
裴寂先被免官返乡，又被流放到四川，若是心中不平，举兵谋反，也不是不可能。司马懿70岁时还发动了高平陵之变呢。可李世民一口咬定裴寂不会谋反，甚至都不愿意派人到四川去调查。
