有一次杨坚在谈论昔日好友的时候，想起了曾经的尉迟崇，顿时很伤感，于是让杨义臣改姓为杨，赐予皇室身份。而杨义臣虽然从小就生活在皇宫中，但是他的能力非常强，连杨坚都称赞他“有将领之才，由是上甚重之。”
后来隋朝和突厥交战的时候，当时的杨义臣被杨坚委以重任，任命为行军总管，杨义臣领军三万，大破突厥，在第二年的时候，突厥再次入侵，杨义臣和史万岁合力再次大败匈奴，但是这一次由于某种原因史万岁被杨坚处死，杨义臣却只是没有得到封赏，后来杨义臣还成了朔州总管，杨坚连自己的铠甲都给了他，由此可见杨坚对杨义臣的宠爱。
之后杨广继位，杨义臣也是立下汗马功劳，在征讨高丽的时候虽然失败，但杨义臣依然立下大功，从这里大家也是能够看出杨义臣是一位了不起的名将，可谓是百战百胜。到了隋朝末期，天下农民起义，当时的杨义臣一直都在镇压起义军，而且没有一支起义军能够抵挡住他的大军，当时的河北地区的起义军都被镇压了。
但是杨义臣这样的功劳太大，可谓是功高盖主，有奸臣虞世基的蛊惑下，杨义臣被杨广所怀疑，罢免了他的官职，夺了他的兵权，让他担任礼部尚书这个文职，于是在公元617年，心怀隋朝的杨义臣郁郁而终，而杨广也是在第二年因兵变被勒死。从上面大家也是可以看出，如果杨广重用杨义臣，那么他既然能够平定河北地区，就能够平定其他地方，就算隋朝最后没有保住，但也能够成为一方诸侯。
