杨义臣自十几岁时一直担任隋文帝侍卫，因为深得隋文帝宠爱，不久便拜陕州刺史。杨义臣天生就有将领之才，在开皇十九年(599年)，突厥达头可汗进犯边塞，杨义臣以行军总管身份，率领步兵、骑兵三万人马，出白道，与突厥军相遇，交战，大破突厥。
开皇二十年(600年)，突厥又进犯边塞，雁门、马邑二地多受其害。杨义臣出兵击破突厥，突厥败逃塞外，杨义臣率兵追击，追到大金山，与突厥相遇。当时，太平公史万岁率领军队也赶到了，杨义臣与史万岁合力出击，大败突厥兵。
杨坚为了显示自己对他的喜爱，又赏赐给了他一套御用的铠甲，足以看出，杨义臣在杨坚心目中的地位。但如果说杨坚是杨义臣伯乐，那么随后上位的杨广却成了杨义臣和大隋王朝的终结者。
公元604年7月，文帝杨坚病重，卧于长安仁寿宫大宝殿内，杨广认为登上皇位的时机已到，迫不及待地写信给杨素，请教怎样处理将要到来的文帝后事。不料送信人误将杨素的回信送给了文帝。文帝读后大怒。
