《汉书》记载，汉宣帝重用法家人士，动不动就用刑罚惩治下属，刘奭不以为然。一次，刘奭委婉劝说汉宣帝"陛下持刑太深，宜用儒生"，汉宣帝听了脸色突变，厉声厉色告诫刘奭：汉朝有汉朝制度，本来就是'王道''霸道'兼而用之，怎么能单纯的使用周朝"德政"呢？更何况，俗儒不能洞察世事变化，最喜好厚古薄今，怎能将国家大事托付给他们？说完了这番话，汉宣帝又长叹一声道："乱我家者，太子也！"
果不其然，刘奭成为皇帝之后，很快就自废武功，任由太监弘恭、石显逼死三大辅政大臣之一萧望之。萧望之被逼致死，汉元帝非常震惊，为之痛哭流涕，并口头责怪弘恭、石显，但仅此而已并没有下一步举动，事后对他们宠信如故。
更为严重的是，之后汉元帝将大权交给太监石显，事无大小，都由石显汇报决断，于是石显俨然一言九鼎，"重足一迹"，汉元帝虽为天子，但大权却在石显手中，一切都是石显说了算。随后，石显与宫廷太监结为"内党"，又勾结外戚，拉拢见风使舵的大臣，三者内外呼应，兴风作浪，党同伐异，驱逐异党，杀害正直官员，朝廷被搞的乌烟瘴气。
对于石显擅权乱政，汉元帝却一无所知，司马光评述："甚矣，孝元之为君，易欺而难悟也。 "简单的说，汉元帝太好糊弄，以至让石显玩弄于股掌之间。历史上汉元帝错失四大美女之一的王昭君，原因可能就出在石显这里。
从汉元帝开始，西汉皇帝就一直大权旁落，汉元帝之后的汉成帝荒于酒色，导致外戚擅政，大政几乎全部为太后一族王氏掌握，为王莽篡汉与西汉灭亡埋下了祸根。历史上的王莽家族，就是发迹于汉元帝时期，汉成帝时期壮大到不可收拾地步。
