首先，杨业的家世背景让他难获信任。杨业的父亲杨信原为麟州刺史，当时各种割据势力你方唱罢我登场，杨家虽然也算是一方豪强，但势 力相对较弱，只能于夹缝中求生存。
杨业20岁就被派给刘崇，这很可能是一种家族谋略。杨业年少英雄，很有才干，所以很快被刘崇赏识。但是，951年刘崇在晋阳自立为帝时，杨业的父亲已经 归降后周了。这就出现了一个非常复杂难解的现象，杨业在北汉听差，他的父兄却在后周为臣，父子三人效力于互相敌对的两个国家。
由此可见，哪怕亲如父子兄弟，在乱世的纷争年代也都是以自保为主，各自为政。当然啦，杨业的父兄与自己敌对，也能从侧面看出来杨业并不受杨氏一族的重视及疼爱。
这样一种局面的形成，当然有事出偶然的不可控因素，但也不排除杨业父亲的预先设计。在那个时代，脚踩两只船，谁先到岸就靠谁的现象并不鲜见。按今天的话说，不把鸡蛋放在同一个篮子里，也许更为安全。杨信去世之后，杨业的弟弟杨重勋继承了麟州刺史的职位，因为杨业效命北汉与后周为敌，当然不可能返回后周继承父业。
麟州地处北汉与后周边境，杨氏的 武装力量有限，没有强大到足够自保或自立，为了保全自己、保存实力，杨重勋在北汉与后周之间不停地摇摆，他以麟州刺史的身份几次投降北汉又数次回归后周。 有这样的家世背景，杨业投降北宋之后，难免让人觉得不够放心，而他自己也会先虚上几分。这也就是为什么后来当监军责问他是否有异志时，他显得格外敏感。
