虽然太极宫当时作为主殿，但是缺少了百官的朝贺，顿时冷清了不少，李渊的心里也是倍感失落。加上夏天，太极宫地势低洼，宫内气候闷热潮湿，于是李渊以喜欢清静为由，向李世民提出要搬去城西的宏义宫去住的要求，李世民听到父亲的要求之后暗暗得意，心想等父亲走了，自己就可以名正言顺地搬去太极宫。
就在李世民春风得意时，李渊入住宏义宫的事在朝野引起了非议，大臣们却告诉他，不应该让太上皇搬到宏义宫。原来，这宏义宫的规模比太极宫小许多，宫中的陈设、排场也远不如太极宫，更重要的是，此宫原本为李渊赏赐给李世民的住所，希望他重视太上皇的居住状况，李世民听后觉得有理。于是决定在长安城北苑中的龙首原高地，为父亲李渊修建避暑行宫。
