杨信死后，杨业的弟弟杨重勋子承父业，担任麟州刺史。麟州地处后周与北汉的边界，是两国必争的军事重地。因为，杨重勋手中的军队有限，没有足够的力量自保，所以，他就像墙头草一样摇摆不定，反复投靠北汉与后周。
有这样一个"不靠谱"的父亲和弟弟，杨业难免会让北宋皇帝觉得不放心，而杨业本人在提起这个话题时亦不免心虚。后来，在战场上监军责问杨业是否有二心时，杨业的表现十分敏感。最终，当杨业成为降将后，他的立场备受怀疑。
在宋太宗眼中看来，既然杨业可以弃城投降归顺自己，有朝一日也会投降敌人。虽说，杨业身上并没有前科，但是，他的父亲和兄弟却是反复无常的小人。可想而知，宋太宗一再认为杨氏有反复无常的血统，自然不会冒险启用杨业。
除此之外，杨业早年作为北宋的敌人，在战场上成为北宋将士的噩梦，杨业与北宋将军们的积怨应该很深。时过境迁，杨业投效北宋朝廷，难免会受到昔日宿敌的排挤，至少会受到歧视和嘲弄，所以，要想得到宋太宗的青睐更是难上加难。
