上官桀是西汉陇西上邽（今甘肃天水）人，年轻时给汉武帝当警卫，官职是羽林郎。有一次，跟随汉武帝去甘泉宫，途中突然遇上了大风，皇帝的车子被大风吹得不能前行，为了减轻阻力，只得把车盖解下来让上官桀拿着。上官桀便高举着车盖，顶风前行，一步也没落后。不久便下起了雨，上官桀便用车盖替汉武帝挡风遮雨。汉武帝因此对上官桀很是赏识，当场提升他为未央厩令，负责给皇帝饲养专用的马匹。
但是在事情过后，汉武帝很快就把上官桀忘记了。又过了一段时间，汉武帝生了一场病，病愈后就去看马。不看不知道，一看吓一跳，。武帝发现马大多都瘦了，不由得勃然大怒，连忙把养马的传来。身为未央厩令的上官桀得知后，连忙跪在地上，叩了三个响头，一边流泪一边抽咽着说：“启奏陛下，小臣上官桀听说皇上龙体欠安，就日日夜夜为您担心，哪里还顾得上看马呀。”这时汉武帝猛然想起，面前跪着的这个人就是之前那个替自己顶风冒雨的卫士，再听他刚才所讲的那番话，便认为上官桀对自己忠心耿耿，立刻转怒为喜，并提升上官桀为侍中，后来逐渐升为太仆，成为皇帝的车马总管，位列九卿。再后来，上官桀又同霍光一道在平定莽何罗、莽通兄弟叛乱时，立了功，被封为安阳侯，成为汉武帝的心腹重臣。在汉武帝病危时，与霍光、金日䃅、桑弘羊一同成为临危受命的四大臣之一，在朝廷中的地位可以说仅次于霍光。
工于心计的上官桀为了巩固自己的地位，把霍光的女儿嫁给儿子上官安，同霍光结成了亲家。从此与霍光结成了亲家，关系密切。霍光休假外出时，上官桀便经常代替他处理国家大事。正所谓，有其父必有其子，上官安的心计绝对不亚于他的父亲上官桀，为了自己的前程，居然想把年仅6岁的女儿送进宫里给汉昭帝刘弗陵当皇后。为此，就去劝说霍光把这个外孙女送进宫去。霍光因为外孙女还小，就没有答应。上官安碰了一鼻子灰，但仍不死心。转而就去找自己的酒肉朋友丁外人，上官安之所以要去找这个丁外人，是因为这个丁外人是汉昭帝的大姐盖长公主的情人，而汉昭帝又对这位年长的大姐十分亲近且敬重。
