杨彪的先祖杨喜，曾在汉高祖时期担任骑都尉，被封为赤泉侯，而他的曾祖父杨震，祖父杨秉以及父亲杨赐，先后在汉安帝、汉恒帝、汉灵帝时期担任太尉，此外，杨彪的妻子袁氏，则是另外一个名门望族，汝南袁氏的人（这也就是曹操诬陷的主要凭证。）杨彪的岳父，是当朝的司徒袁安，而他的儿子杨德祖，正是后来被曹操以怠慢军心之名杀掉的杨修。
古代最讲究世阀派系，像杨氏和袁氏，他们的门生势力遍及朝廷，地方和军队，正所谓"四世三公，门生故吏遍天下"，何况杨彪本人正直而有名节，所以诸侯们一直抓不到他的把柄。
到了后来的公元220年，曹丕称帝，想要年迈的杨彪出任太尉，杨修则以旧臣不仕新朝的名义，谢绝了曹丕的好意，即便是如此在数年之后，朝廷举荐有独特行为、操守的君子，百官们都一致的推举杨彪，因此曹丕还特意派遣官吏士兵保护他。（帝乃为彪置吏卒，位次三公。）能够让皇帝专门派人保护，杨彪的地位可想而知了，在225年，这位汉朝旧臣走完了自己的一生，享年84岁。
