不过到了曾孙一辈，出了个能干的孩子杨敞。公元前87年，汉武帝托孤给了大将军霍光，由他辅佐年仅8岁的汉昭帝执政，霍光有一个得力助手，就是杨敞。因为杨敞这个人谨言慎行，且屡屡为霍光献计，成了霍光的军司马。
公元75年，杨敞被封为丞相，他还娶了个好老婆，妻子司马英的身份可不一般，她是太史公司马迁的女儿（宫刑前生的），颇有胆识，几次帮助丈夫杨敞逃过劫难，两个人生了个儿子叫杨恽。
司马迁特别喜欢外孙杨恽，从小手把手教他史学。杨恽是个直肠子，而且愤世嫉俗，所以得罪了不少人，屡屡被贬，后来他拼命保护并推广了《史记》，才让这部巨作流传了下来。
