元鼎五年，列侯进献给朝廷的黄金成色不足，汉武帝勃然大怒，夺去这些人的侯爵爵位达六百人，他也位列其中。因为他是汉武帝的心腹，所以呢，汉武帝又给他机会讨伐匈奴，想着回复他的爵位，可是呢，他这次出击并没有重创匈奴。
再后来，汉武帝想让他当丞相，而自汉高祖以来，丞相都是由列侯担任，所以又借故封他为葛绎侯，这样任命他为丞相别人就没话说了，可是汉武帝把意思透漏给他的时候，他却拒绝了，理由是自丞相公孙弘老死任上之后，李蔡、庄青翟、赵周皆因罪自杀，前任石，庆虽秉承其家严谨作风，亦数次受到武帝谴责。
公孙贺非常害怕当丞相，就把意思给汉武帝说了，汉武帝哈哈大笑说：没事，朕保你无恙。结果后来，公孙贺的儿子犯法，他为了给儿子赎罪，主动请求抓获朝廷缉拿很久也没抓住的犯人，结果他费尽千辛万苦，终于把这人抓获，这人却反咬一口，诬告公孙贺儿子与阳石公主私通以及行巫蛊诅咒天子之事。而汉武帝还最信这个，所以公孙贺悲催了，整个一族都被灭了。
