然而随着局势的发展，周边实力雄厚、拥众数万的大军阀越来越多，苏定方手下这千把人也必须寻找靠山出路，不然迟早被人灭掉。当时河北义军首领窦建德有仁义之名，善待百姓礼敬贤士，苏定方最后带着手下投奔了窦建德，从此成了窦建德麾下的一员武将。
苏定方年轻有为，骁勇绝伦，在窦建德军中逐渐脱颖而出，被窦建德大将高雅贤收为义子。虎牢关之战中，窦建德势力被李世民消灭，苏定方继续跟随高雅贤投奔到军阀刘黑闼帐下。然而苏定方这几年仿佛一直走背运，他倾心投靠的主公，窦建德和刘黑闼，先后都被唐朝消灭。苏定方最后走投无路，"归乡里"，重新回到老家种地为生。
贞观四年前后，李世民派遣大将李靖北伐颉利可汗，征召流散各地的义军旧将，苏定方也被李世民招入麾下，派遣他加入李靖大军。在征伐颉利可汗的大战中，苏定方尽显英雄本色。《新唐书》记载，李靖派苏定方带领两百人担任"特攻队"，脱离大军长驱直入，执行闪击颉利可汗的"斩首行动"。当时颉利可汗拥众数万，手下游牧骑兵彪悍善战，苏定方此行危险性极大，稍有不慎很可能肉包子打狗，有去无回。
但苏定方出众的军事才能此时却淋淋尽致地表现出来。他带领小分队行动神速，深入虎穴，一直冲到颉利可汗大帐之外，敌军才觉察。苏定方一阵猛打猛冲，颉利可汗仓皇逃走，最后被唐军拿获。其部下死的死降的降，为患唐朝十余年的北疆大患就此解除。此战虽有李靖运筹帷幄之功，但苏定方也当之无愧立下首功一件。
