后来房玄龄得李世民的赏识，当上了中书令，家中自此也是奴仆成群。都说男人有钱就变坏，但是房玄龄牢牢遵守着自己的诺言，果真没有再另娶妾侍，对待妻子也是一心一意。甚至连要好的大臣送来歌女、舞女，他都一概谢绝，绝不往府里领女人。
他这个怕老婆的名声也因此流传开来。很多同僚以这个由头嘲笑他，他却从来不生气，甚至公然表示家有悍妻，自己的确怕老婆。这件事被李世民知道之后，李世民很不以为意，他认为房玄龄不过是随口一说罢了。一次宴会上，房玄龄贪杯多喝了几杯，面带醉意。
李世民借机提出要赏赐他两个番邦进贡的绝色美人，房玄龄因为酒醉没有听清，急忙起身谢恩。李世民立即命人将这两个舞女送到了房府之中。房玄龄酒醒之后，听说了这件事，慌忙回府。此时府中已经是一片狼藉，那两个番邦舞女吓得瑟瑟发抖跪在门口，甚至连大门也没能进去。他的妻子卢氏拿着把椅子坐在门前，哭的双眼红肿，指着房玄龄责问。
