杨豫之成人之后娶了李元吉的女儿寿春县主，我们看杨豫之的身份：出自弘农杨氏，父亲是朝中重臣杨师道，母亲是长广公主。娶寿春县主明显是低娶了，毕竟寿春县主是李元吉的女儿，这个身份在贞观年间还真不是个好身份。
虽然史籍中并没有记载杨豫之和寿春县主的感情如何以及他们的婚姻生活是否幸福，但我们仍能从蛛丝马迹中捕捉到这个事实，即杨豫之并不怎么喜欢这个表妹。
因为杨豫之婚内出轨了，他的出轨对象是姨母永嘉公主。虽然不知道他们之间究竟是从什么时候开始的，但可以肯定的是，在杨师道和长广公主还活着的时候，两人还是小心翼翼的隐藏着他们的私情，并没有让外人知道。
但杨豫之这个人确实很不被舅舅李世民喜欢，原因就是杨豫之肆情为恶，亏犯名教，尤其是在647年杨师道去世之后，杨豫之就更加无法无天了。
