在李世民看来，父亲虽然"偏心"，但是世上哪有儿子杀老子的道理呢？假如硬逼他搬出"大房子"，李渊会吐血暴毙吧？这样对自己的名声并没有什么好处。毕竟他将来还想要"以德服人"。
于是，就这样拖了两年多。到了贞观二年，天下大旱。一个叫李百药的中书舍人上书说：太上皇宫里的宫女太多了，生活不好，生心怨气，不如把她们放了吧。
李百药一番话下中李世民下怀，于是马上下令把自己老子身边的三千佳丽都赶出宫去，只留下一个姓杨的贵嫔。李渊眼见儿子做得这么绝，也无能回力，终于同意和他互换了房子。在后来的许多年里，父子两都还彼此怨恨着，很少往来。
李世民事实上对李渊怎么样呢？史书上没有正面记载。只是在贞观六年的时候，一个大臣提议给李渊扩建房子，李世民没有同意。他说父亲"游心道素，志存清俭"，自己不好去违背他老人家的意思，浪费人力。
