在攻打辽国的时候，也只是让杨继业当副帅带军，让他处在自己的监视之下。而就在这场战中，杨继业被迫出军，结果战死沙场。可最后逼死他的监军只是被流放，丢下他临阵脱逃的另外一位将军潘美，也只是官降三级。最后甚至还被追封为王，祭祀在太庙里。
这对于杨家来说，可以说是莫大的侮辱，自然也会对这种判决感到不满意。毕竟在看重家族血缘的古代社会，既然皇帝都对你们家族没有多大的重视，自己家族又是降将，那为什么杨家后人还要抱着一腔热血为北宋出力呢？
第三，就是杨家后人生活的地方，其实和金军入侵的地方，并没有那么高的重合度。
无论是文艺作品里的记载，还是《宋史》中的记载，都对杨家后人的记录不多。杨家这一代，详细的记载到杨继业的孙子杨文广。而杨文广虽然此前在西北一带抵御入侵，但之后却被调去和狄青一起平定广西，最后留在了那边。
