终于有一天，也许是裴寂都觉得自己恩宠来的太易了，实在不好意思，于是就趁李渊高兴提出辞职，"臣初发太原，以有慈旨，清平之后，许以退耕。今四海乂安，伏愿赐臣骸骨"，李渊可不舍得了，你走了谁陪我玩，于是老泪纵横地挽留裴寂："今犹未也，要相偕老耳。公为台司，我为太上，逍遥一代，岂不快哉！"，谁曾想到李渊为了挽留寂裴，没过几天就提拔他为司空，并且食邑五百户，不得不感慨同样在朝为官差距为什么这么大；
为什么说裴寂的请辞是虚情假意呢，据史书记载，贞观三年，裴寂被法雅诬陷，面对李世民的惩罚他不仅不伸冤，相反却请求留在京师养老，可见自始至终裴寂都没打算离开京城，从另一方面也说明裴寂对自己的好哥们李渊也从未动过真心；最终裴寂的本性被李世民看透了，即使他是开国功臣，李世民同样没有给他留脸，当着朝臣揭穿他本来的面目："计公勋庸，不至于此，徒以恩泽，特居第一。武德之时，政刑纰缪，官方弛紊，职公之由。但以旧情，不能极法，归扫坟墓，何得复辞？"。被贬回家的裴寂没过多久又摊上事了，蓄意隐瞒狂人妖言并暗中杀害家僮，最后被自己的管家揭发，最终李世民颁布裴寂四宗罪，把他远远地发配到四川去了。
按说裴寂身上的事情没这么严重，造成这一切的原因皆是因为他与李渊的关系已经超脱君臣，过分地牵涉进李渊父子君臣的感情纠葛中；世人皆知，李世民为秦王时被李渊的反复无情彻底地伤透了，武德九年李渊手中的碗已经严重偏向于李建成了，曾经向李世民许下的诺言已经抛到九霄云外，国家有难时就派李世民擦屁股，天下太平了就想卸磨杀驴，相反对于李建成的种种罪行一赦再赦，这怎能不让李世民寒心；杨文干事件中，李渊已经许诺立李世民为太子，事后却又反悔了，李渊的偏心令李世民彻底失望了；在一次父子对峙中，李世民竟提出将自己付于法司，这令李渊大为动怒，本来是父子之间的家事，如今却要按公事办，这说明李世民已对父亲彻底失去了耐心。
压抑已久的感情在李世民当上皇帝后彻底爆发出来，首先他急不可耐地推翻武德时期的政策，最典型的就是废除李渊刚刚颁布的宗教法案，李世民把李渊遣散的僧侣又给"官复原职"了；即使这样仍然不能发泄心中的愤懑，虽然不能直接针对李渊，那么只能找一个和李渊关系最近的人了，满朝上下当然只有裴寂最合适了，让裴寂难受就是给李渊看的，于是一次小小的法雅竟然出动了兵部尚书杜如晦，这不是有意针对是什么。
裴寂的晚年可以说是悲惨的，他虽然无寸功于大唐，但作为皇帝的"陪玩"一定程度上也有苦劳，但坏就坏在关系太深了，当李世民的政治诉求达到目标后，感情上的压抑必须找到一个发泄口，因此裴寂的命运也就注定了，当年那些看不惯裴寂的人开始不断地落井下石，即使裴寂被发配到四川了，闲言碎语仍然不少，而发泄过后的李世民终于为裴寂说了句公道话："我国家于寂有性命之恩，必不然矣"，不知远在天边的裴寂听了这句话会不会感激涕零。
