在当宰相之前，公孙贺曾多次奉命出击匈奴，但基本上都是无功而返，只有一次，在元朔五年，公孙贺跟随大将军卫青出击匈奴，在与匈奴的交战中，公孙贺擒获匈奴王，因此被封南奅侯。
不过，元鼎五年九月，列侯因献给朝廷祭祀宗庙的黄金成色不足、分量不够，由此犯下不敬之罪而被夺去侯爵者共计六百人，南奅侯公孙贺也在其中。
也就是说，这好不容易凭自己本事挣来的功名，又得而复失。
其实，公孙贺是典型的夫以妻贵，他的妻子是卫子夫的姐姐卫君孺，而且媒人就是武帝。
太初二年，宰相石庆死，武帝欲诏公孙贺续任宰相之位。 因为亲眼目睹李蔡、庄青翟、赵周的因罪自杀，前任石庆虽秉承严谨家风，最终也差点小命不保，所以对于宰相之位这个烫手山芋，公孙贺极力推辞，惟恐惹祸上身，不得善终。
