但在镇压起义军的过程里，杨义臣也取得了非常大的威信，他带领着士兵忙前忙后已经把河北那边的局势稳定住了，但就在这时，皇帝杨广已经没有了判断能力，他担心杨义臣会背叛他，于是直接收了他的兵权，让他做了个礼部尚书，这让杨义臣非常的郁闷，但是又不能说什么。
如果杨广能够认清楚形势，毅然选择相信杨义臣，根据杨义臣的性格，大概率会选择继续为大隋鞍前马后。他无愧于杨坚对他的喜爱，甚至在杨广夺了他的兵权之后，他还在感叹杨广要是能再给他一次机会就好了，为隋朝效力，哪怕是战死在沙场上!
有杨义臣在，肯定能缓解一下大隋的紧张趋势，但因为杨广的多疑，这棵救命稻草被杨广自己亲手砍断了。结果可想而知，杨义臣刚离开河北地区，他所收服的十万多人全部归顺窦建德，致使河北地区再度陷入混乱，"贼由是复盛"。杨义臣失去兵权后，隋王朝已经再也找不出来能帮杨广续命的人了。
