然而既使房玄龄如此小心，仍不免会得罪天子。他晚年，有一次不小心犯下一点小过错，就被皇帝给训了顿，然后被罢官赶回了家里，真是伴君如伴虎。幸亏有其他大臣帮他求情，唐太宗才收回成命，让他官复原职。
房玄龄晚年多病，唐太宗给了很高的礼遇，特许他在家卧床办公。后来房玄龄越来越消瘦，唐太宗不仅派御医为他诊治，还亲自到他家里看望他，并且叮嘱御医每天都要向他通报房玄龄的病情。李世民还专门让人凿开了皇宫的墙壁，开了一条通往房玄龄家里的小路，他一遇到什么拿不定注意的事情，就会前往请教。君臣经常一起拉着手回忆年轻时候的往事，聊着聊着，不禁老泪纵横，实在让人不禁唏嘘。
房玄龄活了七十岁，在古时候已经是高龄老人了，也是开过功臣里少有能寿终正寝的。他先后担任丞相15年，女儿嫁给了皇家为妃，儿子娶了李世民的高阳公主为妻，绝对是唐朝的豪门大家了。
