经过多轮内斗，贞观老臣家族基本被扫荡干净。留到最后的徐茂公，自然也会有兔死狐悲之感。因此，徐茂公变得更加谨小慎微，对于亲情也愈加重视。他的姐姐生病了，徐茂公会亲自为他煮粥，甚至连胡须都被烧掉。他的姐姐本想阻止他，但是徐茂公却说："姐姐多病，我也老了，还能为你煮几次粥啊！"
实际从此时起，徐茂公对自己家族的存续已经抱有深深的担忧。因此，徐茂公到了晚年，似乎每天盼着自己死，他可不想看到家族在自己生前败落。因此在死前，徐茂公对自己弟弟说：
我就要死了，有一句话想说。我看房玄龄、杜如晦、长孙无忌等人都辛苦自立门户，希望能流芳百世，但都为不肖子孙所败。我死后，子孙全部交给你，你必须慎查，凡是有胡乱说话、交往奸邪之人，可以直接杀掉。免得让后人笑话我，就像我今天笑话房杜一样。
公元669年，徐茂公去世。他一生谨小慎微，最终位列三公。然而徐茂公终其一生，都没有任何安全感，都活得战战兢兢、如履薄冰。因为他明白，站得越高，摔得越惨，只要走错一步，不仅是她自己，即使他的家族也会被统治者粉身碎骨。
果然徐茂公死后15年，他的孙子徐敬业便发动叛乱，最终被镇压。而徐茂公的家族，也因此而败落。
