初，贺引拜为丞相，不受印绶，顿首涕泣，曰："臣本边鄙，以鞍马骑射为官，材诚不任宰相。"上与左右见贺悲哀，感动下泣，曰："扶起丞相。"贺不肯起，上乃起云，贺不得已拜。出，左右问其故，贺曰："主上贤明，臣不足以称，恐负重责，从是殆矣。"引文同上。
果不其然，公孙贺虽然小心翼翼、如履薄冰地在丞相位子上坐了11年时间，但最终还是没能逃过武帝的诛杀。原来，公孙贺之子公孙敬声是皇后卫子夫的外甥，经常依仗着自己是外戚的缘故骄纵不法，曾利用自己身居太仆的要职，擅自挪用北军军饷1900万钱，并因此而入狱。正是由于此事，揭开公孙家覆亡的序幕。
公孙敬声入狱后，公孙贺便请求抓捕盖世大盗朱安世，想以此来替儿子赎罪，并得到皇帝的首肯。然而朱安世虽然被捉拿归案，但为了报复公孙贺，便在供词中诬陷公孙敬声跟阳石公主私*通，并且在暗中诅咒皇帝早死。此时，武帝年纪老迈、身体多病，非常忌讳"死"字，如今听闻有如此"大逆不道"之事，所以便命人穷究此事，并将公孙贺也抓入大牢审讯。
