但是武士彟的再婚带给他的快乐并没有多少，甚至在年幼的武则天心底埋下了阴影，影响到了她坚忍、冷血无情的性格形成。世人皆知商人重利轻别离，武士彟年轻时为了生计，在外奔波辛苦，自然无暇顾及家小。追随李渊造反说好听了识人，讲难听些就是押宝，一种投机。好在，他赌赢了，但在一些人眼中他仍只是个政治暴发户罢了。武士彟清楚自己的权势都是谁给的，所以在任上兢兢业业勤勤恳恳，就算是老婆孩子死了也不请假、不声张。
武士彟丧妻时才四十出头，正是年富力强的年龄，象他这样的男人，最是受年少貌美的女子青睐，然而，他却娶了只比自己小两岁的杨氏，完全因为杨氏是前朝宗室。试想，一个作梦都想着变换门庭的人，怎么能拒绝与前朝皇室联姻？正因为如此，有史家认为，武士彟在官场春风得意，"实资阴助"，是靠后妻的关系。
杨氏既身份贵重，而且是皇帝赐婚，武士彟对待她自然不敢轻忽。如此一来，就令他前妻所生的儿子心下不爽了。武士彟原配妻子相里氏是汾阳地区门第不高的胡人之女，一共生育了四个儿子。两个儿子先后夭折与相里氏在家中病逝时，武士彟不是在外经商，就是在长安任上负责李渊的安保工作，因故未能回家探视，自然谈不上对儿子的关心教育了。
