然后，李世民还清除了李渊身边的政治势力，裴寂是参与策划晋阳起兵的关键人物之一，唐朝开国之后被李渊任命为宰相。但是李世民一上台就先找理由把他给流放了，裴寂不服，毕竟自己是现任宰相，咋能一句话就给流放了呢？李世民急了，对他说："计公勋庸，不至于此，徒以恩泽，特居第一。武德之时，政刑纰缪，官方弛紊，职公之由。但以旧情，不能极法，归扫坟墓，何得复辞？"意思很清楚--你裴寂有什么了不起的？不就是和太上皇关系亲密吗？武德年间朝纲废弛，弊政多端，还不是你这（和）家（高）伙（祖）折腾的？别废话，赶紧离我（太上皇）远点吧！
除此之外，李渊在人生自由上也受到了限制--玄武门政变发生之时李渊本来正在泛舟游玩呢，当时的日子多滋润啊，但是李世民上台之后就把李渊从安逸的太极宫搬到了大安宫（即弘义宫），这就是软禁起来了。虽然后来逢上佳节或者国家有大喜事（比如平定突厥），李渊都会召集家宴，李世民也会公开弹琵琶，但这种幸福总是短暂的啊。
李世民对待李渊的这种方式让很多人看不下去了，比如最敢说的魏征就曾经当众奚落了李世民--李渊去世之后，他的献陵只有六丈高，远远低于帝王九丈的规格。但是李世民的长孙皇后去世之后，李世民却在城中建了一个高塔，用来远望长孙皇后。他不仅自己登台远眺，还带着大臣一起，有一次碰巧带着魏征。李世民说："看那陵墓多壮观！"魏征却假装看不到，李世民不解--这么高的塔，这么高的陵，你竟然看不到？魏征才假装恍然大悟："原来皇帝说的是昭陵啊，我还以为是献陵呢，怪不得看不到！"
所以，总的来说，李渊退位之后虽然衣食无忧，并且名义上有着比皇帝还崇高的地位。但是李世民毕竟是通过政变得到的皇位，所以他不得不在诸多方面对李渊进行防备。拿流放裴寂一事来说，很可能就是因为李世民担心李渊在裴寂的策划之下，行复辟之事。
