上官桀与霍光关系非同一般，霍光一个女儿嫁给了上官桀之子上官安，生下一女上官氏。汉昭帝时期，上官桀一家想送六岁的上官氏进宫，然后再运作立为皇后，这样上官一族可得大富贵。
霍光认为外孙女上官氏太小，就拒绝了这一提议，至于霍光到底如何想的，历史没有给出答案，笔者认为应该是上官氏一旦成为皇后，上官桀成为外戚，就会对霍光造成威胁，所以才会反对。最终，在上官桀父子打通了鄂邑长公主（汉武帝之女）关系，随后鄂邑长公主下诏让上官安之女进宫做了婕妤，上官安封为骑都尉，又过了一个多月，就册立上官氏为皇后，她才只有六岁。
由于之前霍光又曾多次阻止上官家族其他亲戚封官，双方因而结怨。因此，这一次汉昭帝立后之事，上官桀严重威胁到了霍光地位，让霍光与上官桀矛盾进一步激化。
