青年时期，武士彟挑担子去各村卖过豆腐，又曾和同乡许文宝经营些木材生意，''因致大富''。
据《册府元龟》记载：武士彟''才器详敏，少有大节，及长，深沉多大略，每读书，见扶主立忠之事，未尝不三复研寻，尝以慷慨扬名为志''。
隋朝末年，由于隋炀帝杨广的残暴统治，并州和全国一样，也爆发了农民起义。就在这样的形势下，''深沉行人略''的武士彟，弃商从戎，助李渊起兵。
李渊任命武士彟为行军司铠参军，负责招募兵马。武士彟后来以大将军府(李渊为大将军)铠曹参军随从平定京师，受官光禄大夫、义原郡公。
唐武德年间，武士彟出任工部尚书转荆州都督，加封为应国公。
