裴寂虽然功高，但其能力有限，武德二年，刘武周入侵太原，裴寂主动请缨，率军征讨刘武周。在介休之战中，裴寂全军覆没，丢盔弃甲奔逃一夜，才逃到晋州，导致晋州以东的州县全部沦陷。
裴寂回到长安后，群臣激愤，李渊为了给众人一个交代，立即将裴寂下狱问罪，但不久，裴寂就官复原职，重新回到李渊身边。
裴寂当年劝李渊谋反，本身就是个投机主义者。接下来，他又嫉贤妒能，借李渊之手清除异己。贞观三年，僧人法雅以妖言惑众罪被处死，在调查法雅案时，发现裴寂曾多次倾听法雅的言论，李世民大怒，将裴寂免职，并勒令裴寂返回老家。
从唐高祖时期的"第一功臣"，到唐太宗时期的免职返乡，裴寂无言面对家乡父老。他哀求李世民，允许自己继续留在长安。可李世民却并不买账，他对裴寂怒斥道："你的能力本来就很平庸，因为高祖皇帝的原因才列你为功臣第一。你主政时，贪污盛行，朝纲混乱，都是你的过错。现在能让你平安回乡，已经算是对你的恩泽了。"
