许皇后在汉宣帝的心里是没有人可以替代的，所以事事都对霍光忍让的汉宣帝，唯独在立许平君为皇后这件事情上绝不退让，公然在朝堂上向大臣暗示自己立后的意思，逼得霍光最后不得不同意汉宣帝立许平君为皇后。而汉元帝又是汉宣帝和许皇后的第一个孩子，汉宣帝自然是对汉元帝有着和其他的孩子不一样的情感的。
第三个原因也是汉宣帝不愿意重立储君最重要的一个原因，那就是许皇后的逝世，因为汉宣帝执意要立许平君为皇后，所以导致霍光以及其妻子很不满。所以在许皇后生第二个孩子的时候，霍光的妻子就买通去给许皇后看诊的女医，趁机给许皇后要喝的汤药中下了一味对孕妇有毒的药，导致许皇后在生产完之后就惨死了。而这个时候的汉元帝才刚年满三岁就失去了母亲，这让本来就最爱许皇后的汉宣帝，不得不对年纪小小的汉元帝又多了一些疼爱之情。
何况没有了母亲的汉元帝在宫里毫无依仗，霍氏家族也依旧野心勃勃，许皇后一逝世就趁机将霍成君送进了宫里，霍家一心想要霍成君生下一个儿子来继承皇位，所以对于那个时候已经是太子的汉元帝很看不惯。霍成君就曾在其母亲的授意之下想要除掉汉元帝，好在汉宣帝在许皇后惨被毒害之后，就对汉元帝的保护加强了很多，这才没有让霍氏母女得手，所以汉宣帝对于汉元帝这个儿子还是很疼爱的。
在汉宣帝的保护下汉元帝逐渐长大成人了，同时也接受了很好的教育，汉元帝不仅多才多艺，就连在音乐上都还有很大的造诣，但是这些都只能用来打发时间，对汉元帝的治理国家毫无用处。除此之外汉元帝还极好儒学，在汉宣帝加强法制的时候，汉元帝就曾说汉宣帝太过于残酷了，还劝说汉宣帝要重用儒学。也就是在那个时候汉宣帝觉得这样的汉元帝是不适合做皇帝的，可是一想到惨死的许皇后，怎么也忍不下心废除汉元帝的太子之位，加上汉元帝又是自己的嫡长子，所以最后汉宣帝也只好作罢了，最终在汉宣帝薨逝之后，二十六岁的汉元帝也就正式即位了。
