李世民登基后，裴寂虽然还享受着较高的待遇，但在李世民心中，裴寂的地位并不及长孙无忌、房玄龄等文臣，也没有登上凌烟阁功臣榜。贞观三年，僧人法雅以妖言惑众罪被处死，在调查法雅案时，发现裴寂曾多次倾听法雅的言论，李世民大怒，将裴寂免职，并勒令裴寂返回老家。
从唐高祖时期的"第一功臣"，到唐太宗时期的免职返乡，裴寂无言面对家乡父老。他哀求李世民，允许自己继续留在长安。李世民怒斥道：
"计公勋庸，安得至此！直以恩泽为群臣第一。武德之际，货赂公行，纪纲紊乱，皆公之由也，但以故旧不忍尽法。得归守坟墓，幸已多矣！"--《资治通鉴》
李世民的意思是：你的能力本来就很平庸，因为高祖皇帝的原因才列你为功臣第一。你主政时，贪污盛行，朝纲混乱，都是你的过错。现在能让你平安回乡，已经算是对你的恩泽了。
