没过多久李渊认为时机已经成熟，便决定举义旗反隋，推翻这个混庸的隋炀帝。武士彟即聚集银子，交给李渊充做军饷，并且频繁来往于裴寂、刘文静、长孙顺德之间，加强联系积极沟通以防出现什么疏漏！对于武士彟捐钱捐物，忠心耿耿李渊是深为感动！所以晋阳义旗一举，马上任命武士彟为义军最高指挥机构--大将军府正护大夫，并中郎将司铠参军。两个月后克霍邑，又拜为开国公，过潼关以至兵临城下（长安），又提拔其为光禄大夫，到了武德元年（公元618年）正式建立大唐，以武士彟首当其功为由，爵拜晋阳公，并荣获免死金牌以表彰武士彟的功勋，武德三年武士彟荣升工部尚书，封应国公。
对于唐高祖的知遇之恩，武士彟是感恩戴德，竭尽忠诚。武德年间武士彟担任禁军要职"简校右厢宿卫"（专职保护皇帝安全的官员）任上，儿子夭折，夫人病故，他从不请假，也不言语。忠于职守到了忘我的地步！消息传到唐高祖李渊那里，李渊马上下旨大加褒奖，称其"遗身殉国，举之与比"。并亲自选派隋朝贵胄遂宁公杨达之女，许配给武士彟续絃。命令当时的桂阳公主做主婚人。武士彟娶了这个新夫人是"英才冠绝，志行贤淑"。她就是武则天的亲生母亲叫杨牡丹。武德九年（公元627年）武士彟异地做官，任扬州都督府长史，扬州是长江与大运河的交汇处，经常发生洪涝灾害，武士彟想方设法，把原来设在江南丹阳郡府让给老百姓居住，自己却搬到江北扬州办公。在任两年"开辟田畴，示以刑礼，数月之间，歌谣载路"。确实为当地老百姓实实在在办了几件好事情。
李世民
唐太宗李世民初临帝位，利州都督是皇亲名叫李孝常，他暗自潜回长安，阴谋勾结禁军准备"造反"，李世民虽然杀掉了李孝常，平叛于萌芽，但是其余党却没有一网打尽，到处烧杀抢掠，尤以利州为甚，于是唐太宗委派武士彟为利州都督，前往平息余孽之患，武士彟到任以后，"审时度势，洞察民情，先礼后兵，招抚之役，抚助老弱，赈其匮乏，开导叛首，语言感化，兵不血刃。在任五年很快使利州郡境人安，余乱平息，再无生枝"。贞观六年（公元632年）55岁的武士彟改任荆州都督。任内大力开展打击"奸右"，鼓励农桑之事，兴修农田水利设施，勤勉吏治，颇有建树。史载武士彟任荆州都督两年，境内是风调雨顺，五谷丰登，有"白狼嘉禾之瑞"，意思是农田里生长的稻穗如狼尾之大。
