元鼎六年，他担任匈河将军，攻打匈奴直到匈河水，可是无功而返。元封三年，楼兰攻击了汉朝的使节，阻塞了丝绸之路，汉武帝派他率军数万人攻破姑师，俘虏楼兰王，因功受封浞野侯。再后来，他担任浚稽将军，率领两万骑兵攻打匈奴左贤王，左贤王与之交战，派八万骑兵包围赵破奴军，赵破奴被匈奴生擒，所部全军覆没。
但是令人奇怪的是，匈奴并没有杀他，反而好吃好喝招待，可是他还是心系大汉，在天汉元年，跟儿子一起逃回汉朝。后来就悲催了，他时运不佳，赶上了著名的巫蛊之乱，惨遭灭族。
说起来，他比李广要幸运多了，他光侯爵就换了三个，可是李广一辈子也没封上侯。但是在那个以军功论英雄的年代，他确实比李广杀敌更多，俘虏更多，连汉武帝都无法偏私的授予李广爵位。所以李广只能难封了。可是赵破虏虽然排在卫青，霍去病之后，可是却没有两者幸运，尤其被匈奴俘虏后，可能就不再被重用。
其实也不能怪他，与四倍的敌人打仗，又在人家的地盘，难免失利，更悲催的是赶上巫蛊之乱，确实是非常的可惜。
