裴寂受到这样的厚待，时常会觉得惶恐，朝中很多大臣也对此颇有微词。正好这时发生刘武周叛乱，裴寂便借机主动要求前去，想要立个功劳，向大家证明。但是，裴寂这个人并不擅长军事，最后自然是以失败告终。李渊在朝堂上斥责了他，把裴寂交给别的大臣处置。然而，别人都很怕得罪他，所以也并没有重罚，裴寂只是交了一些罚款，这件事就过去了。
李渊有时外出办事，朝中的事务都会交给裴寂代理。朝廷中有大臣看不下去，污蔑裴寂有谋反之心，李渊一点也不相信这种话，反而好言安慰裴寂。总之，李渊对他是百分百的信任。后来，李渊还让自己的一个儿子娶了裴寂的女儿，两人结为亲家。
某天，两人一同喝酒，回忆起旧时在太原的时光，感概万千。裴寂向李渊提出了自己的官做的很大了，现在年老，不再渴求什么，想要辞官归乡，李渊却不应允。李渊甚至还说你不干了，那我便退位，不问政事，裴寂见皇帝都说出了这种话，也就不再提辞官的事情。
后来由于种种原因李渊被迫成为了太上皇，那日酒醉的话语没想到真的实现了，皇帝与臣子一同养老，倒是在历史之上难得见到的景象。
