后来，隋朝的暴政，四处农民起义不断，对隋暴政厌恶的苏定方也叛出了隋朝，投靠了窦建德。在窦建德的军中，苏定方受到重用，甚至被大将高雅贤收为义子，对抗李唐的军队。后来窦建德兵败，高雅贤带着苏定方有投靠了刘黑阀。
在刘黑阀的手下，苏定方发挥其军事才能，为刘扩充领土，立下赫赫功劳。无论是投靠窦建德，还是刘黑阀，苏定方都是喝李唐的大军处于交锋的状态。而《隋唐演义》是站在李唐的角度来写的，所以苏定方一直是其中的大反派，被抹黑了不少。
苏定方在刘黑阀死后，并没有马上归顺李唐，而是选择了回到家乡，准备从此归隐。后来这贞观初年，李世民即位，准备攻打突厥时，有人举荐了苏定方，苏定方才被朝廷启用。当时李世民任用李靖为主帅，派苏定方随李靖出征东突厥。
