李渊自然是舍不得自己这位老朋友的，即使不需要处理朝政，二人也是可以聊天作伴、饮酒作乐的。裴寂也舍不得李渊，但是他明白，一朝天子一朝臣。加之裴寂也曾向李世民请求，自己退位之后能否留守长安，因为他实在不忍老朋友李渊在深宫之中孤苦伶仃。但是李世民依旧拒绝了他，暗示他必须离开长安。
裴寂没有办法，只好回到自己的家乡。如裴寂所料，他离开长安之后李渊的日子过得也确实不太潇洒。李世民每逢夏天要去九成宫避暑，也从未带上李渊，贞观八年，李世民一反常态几次三番地邀请李渊前往九成宫避暑，但是此时的李渊已是命不久矣了 。
后来李世民甚至以“为太上皇修筑避暑之所”为由，不惜耗费大量钱财修建永安宫，也就是后来的大明宫。其实所有人都知道，李世民这是为自己修建的。李渊死前留下遗诏，希望自己的葬礼以及陵墓一切从简，李世民对于这份遗诏的遵从程度简直是满分，李渊的陵墓甚至没有石料，仅仅只是以封土为陵。
