房遗爱本来就是重臣之子，现在又成了驸马，皇亲国戚，因此一路官运亨通，做到了太府卿，散骑常侍，散骑常侍这可不是一般的官职，换作魏晋时期的门阀政治，只有天下诸如琅琊王氏，清河崔氏这样的高门大阀的子弟才能够获取散骑常侍的官职。按道理来说，父亲是当朝帝王，丈夫是朝中重臣，高阳公主应该感觉到满足了，可是事实上却并非如此。在《新唐书》的记载之中，高阳公主婚后和《大唐西域记》的执笔人辩机私通。
这个辩机还是个和尚，堂堂公主跟和尚私通，自然不是什么值得宣扬的好事，不过高阳公主与房遗爱本来就是政治婚姻，实际上公主和驸马互相都不喜欢，高阳干脆送给房遗爱美女，这意思是你也不用着急，咱们两个不是互相都不喜欢么？干脆那就另起炉灶，各玩各的，因此这件事情房遗爱竟然并未在乎，因此高阳公主和辩机的这段私情竟然一直持续了好几年。不过正所谓天网恢恢疏而不漏，后来此事因为高阳赠辩机宝物被偷，被唐太宗给知道了。
