大唐开国时代的功臣，有几个能富贵两三代呢？
房玄龄、杜如晦的家族，都是很快覆灭了，衰落之快都让李世绩感到惋惜。而李世绩死后，他的儿子造武则天的反失败，也被灭了门。
李世绩将死，谓其弟弼曰「我见房玄龄、杜如晦、高季辅辛苦作得门户，亦望垂裕后昆，并遭痴儿破家荡 尽。我子如有操行不伦者，急即打杀，然后奏闻。」 其望子保家之心，可谓切矣。然世绩附武后以固位 保门户，而其子敬业起兵讨武后被族，虽不能保家，亦可谓能雪先人之耻者。
在唐玄宗时代，李靖的家庙已经变成了杨家的养马地。
初，天宝中，贵戚第舍虽极奢丽，而垣屋高下，犹存制度，然李靖家庙已为杨氏马厩矣。
