此时，最好的办法就是李渊主动搬出皇宫，安稳的过自己的老年生活，两人皆大欢喜。但李渊却不是一个聪明的人。事实上，他非常想搬出皇宫，因为自退位后，他感到空虚寂寞。虽然仍然是锦衣玉食的生活，但却在宫内无事可做。他早就想搬出皇宫出去游乐一番了。但皇帝的脸面让他不能主动开口，只等着李世民的下令。但寂寞的时光总是难熬的，李渊逐渐人受不了无事可做的情况，终于有一天，他向李世民提出一个要求，要从太极宫搬走。李世民听了差点笑出声，连忙允诺下来。
李渊搬离太极宫，前往宏义宫居住。但宏义宫的条件比太极宫差多了，不管是从装修还是规模上看都不是一个档次的。有大臣委婉地提出了这一点，李世民这才明白，令人在别处为李渊修建了一座避暑行宫，也就是后来的大行宫。但遗憾的是，工程刚开始，李渊就去世了，他也没能住上儿子给他修建的这座宫殿，工程也暂时停滞了。
