到了曾孙这一代，更是了不得，因为他们家出了一个名叫杨敞的人，此人凭借自身的才华和能力得到了大将军、大司马霍光的赏识，一路高升，最后位极人臣成为了宰相，所谓一人得道鸡犬升天，他们家后来封侯拜将者多达十几个，在朝中做大官的有几十个，可以说是一人之下万人之上，这个杨敞还是太史令司马迁的女婿，司马迁因为沾了女婿的光，他的《史记》得到外孙杨恽的大力推广才有幸流传至今，当时杨恽封平通侯位列九卿，也是当时朝中的重臣。
杨家人才济济，有"关西孔子"之称的七世孙杨震，官至太尉，而后三代都是太尉高职，被人美称为"四叔三公"之家族，第五代也曾出过一个名人，他名叫杨修，就是三国里的那个杨修，虽然他没做什么大官，但是他以聪明机敏著称，后来被曹操所杀，但是杨家依然有人在魏朝，晋朝两朝为官，随着时间推移，到了南北朝末期，杨喜的二十世孙--杨坚，建立了隋朝，杨氏不再为人臣子，而是转变身份成为了帝王之家。
隋朝是杨家的巅峰时代，他们打破了魏晋南北朝三百多年混乱的割据局面，统一中国南北，成为了中国历史上伟大的统一王朝，虽然隋朝历史短暂，但是在历史上的地位和贡献也是可圈可点的，隋朝奠定了封建社会的大格局，建立三省六部，提倡科举制度，开凿大运河，后面的唐朝也是有了这些基础才能那么辉煌。
虽然后来隋朝被灭，但是李渊与杨家是有亲戚的，李渊也是隋朝的前臣，即便李家得了天下，也没有将杨家赶尽杀绝，所以杨家在唐朝同样过的非常好，依旧是名门望族，杨家后来随着唐朝灭亡，也渐渐没落，从刘邦封杨喜为侯，到唐朝灭亡足足有一千多年，杨家真的是繁荣昌盛了千年之久啊，像这样的家族，在中国并不多见，他们在中国的历史上举足轻重，给中国的历史留下了浓重的一笔。
