杨坚念及与杨义臣父亲的交情，因此在他死后把他接过来抚养了，并赐姓杨，也就是干儿子的意思，因此杨义臣小时候也是在皇宫长大的。跟杨坚的皇子不一样，杨义臣从小就显露出了骑马射箭的特长，这让杨坚非常的开心，再加上杨义臣是一个忠厚老实又很谨慎的人，杨坚对他的喜爱程度更是增加。
杨义臣自十几岁时一直担任隋文帝侍卫，因为深得隋文帝宠爱，不久便拜陕州刺史。杨义臣天生就有将领之才，在开皇十九年(599年)，突厥达头可汗进犯边塞，杨义臣以行军总管身份，率领步兵、骑兵三万人马，出白道，与突厥军相遇，交战，大破突厥。
开皇二十年(600年)，突厥又进犯边塞，雁门、马邑二地多受其害。杨义臣出兵击破突厥，突厥败逃塞外，杨义臣率兵追击，追到大金山，与突厥相遇。当时，太平公史万岁率领军队也赶到了，杨义臣与史万岁合力出击，大败突厥兵。
