灭了张、高二人后，杨义臣见窦建德实力太弱了，根本没放在心上，停止了追击。这下可帮了窦建德的大忙，利用喘气空隙，笼络人心，收编残兵，整肃军纪。此外，他还礼贤下士，对士卒和俘虏都加以优待，很快河北许多郡县都来投靠。
杨义臣在河北一带，将这里的战况和叛军的情况上书杨广。只是被奸臣虞世基以杨广不愿听到各地盗乱情况的奏报，而压下了，只是对杨广说："盗贼成不了气候，地方的官吏正在全力追剿，很快就会彻底剿除的。"
后来，杨广无意间见到杨义臣在河北的捷报后，叹息："我原来没有听到盗贼发展到如此地步？贼势发展得这样快，杨义臣降贼这么多？"
虞世基却仍对杨广说："盗贼都是小股势力，虽多但终不能成气候，不必担忧；杨义臣几尽剿除盗贼，长期在京城之外拥有重兵，很不合适，不得不防。"杨广竟点头称是，立即下令杨义臣回京，并将手下士兵全部遣散。杨义臣气得吃不下饭，却不得不回朝复命。回朝后，杨广就剥夺了他的兵权，授他光禄大夫，不久拜授礼部尚书。
不久，杨义臣在官任上气死。
