在李渊的主持下，在李渊女儿桂阳公主的亲自安排下，46岁的武士彟和44岁的杨氏结成了再婚夫妻。并生下了武则在和她的姐姐。武士彟绝对是个谦逊、务实的好官，他不仅几度请辞李渊加封的官爵，还在工作岗位上兢兢业业、任劳任怨，甚至小心翼翼。这也不难理解，他是农民出身，虽然跟着李渊成功造反，还进城做了大官，但根子还在农村。武士彟因此很自卑，在士族同事们面前，他自感比人矮三分。但他没有办法改变现状，只好埋头苦干工作，处处谨小慎微。
武德元年(618年)起，武士彟担任工部尚书，并负责长安军务工作。这时，他完全可以把妻儿从老家接到长安享受荣华富贵，但不幸的是，他的一个儿子病死了。武士彟心痛万分。祸不单行，一年之后，武士彟的妻子相里氏因悲伤过度，也病死了。一年之间，接连丧子丧妻，这给武士彟带来了巨大的精神打击，可这次他还是没有回家。
李渊知道这件事后，深为感动，并下诏书表彰他"忠节有余，举无与比"。从此，武士彟在李渊心中就是忠贞不贰的下属。相里氏死后，武士彟就带着另外两个儿子武元庆、武元爽到长安生活。武士彟整日公务缠身，回到家后既当爹又当妈。李渊看在眼里，疼在心里，他想给武士彟寻一门亲事。
