然而随着时间的推移，被太宗宠惯了的高阳公主渐渐看不上房遗爱。她认为房遗爱虽然人高马大、精通武艺，但头脑简单，肚子里没多少墨水。跟他谈论饮酒打猎他可以滔滔不绝，谈论诗词歌赋就一窍不通。高阳既有公主的命，也有公主的"病"，她对丈夫要求自然比别的女性要高出许多。因此尽管房遗爱竭力讨好，但高阳公主却越来越看不上他。
648年，房玄龄去世，长子房遗直承袭梁国公爵位。这本来是顺理成章的事情，可是高阳公主却吵着要求由房遗爱继承爵位。房遗直畏惧这位刁蛮任性的弟媳，所以主动向皇帝请求让位于房遗爱，但唐太宗不许。这是高阳公主第一次在父皇面前提要求却遭到拒绝，她心中显然感到十分失望。然而更令她不满的是，丈夫房遗爱一副烂泥扶不上墙的样子，这和自己理想中的丈夫相距甚远。
一次机缘巧合，高阳公主结识了一个叫辩机的和尚。辩机容貌俊秀英飒，气宇不凡，而且是唐朝高僧玄奘（唐僧的人物原型）的爱徒，曾帮助玄奘翻译经文，撰成《大唐西域记》一书，在唐朝高层社交圈中很有名气。
