所以，到了汉元帝时期，便开始按照儒家的礼法来对汉朝的宗庙制度进行修改。经过一番激烈的讨论，百官们都对于哪些皇帝的庙宇应该保留哪些应该拆毁发表了各自的意见。丞相韦玄成等人认为，汉高祖刘邦作为建国者受命于天，所以应当将其庙定为太祖庙;而大司马许嘉等人认为汉文帝在位期间既施行德政又坚持节俭朴素，所以应该把他的庙定为太宗庙;廷尉尹忠等人认为汉武帝击败匈奴维护统治应该把他的庙定为世宗庙。
于是最后汉元帝便将汉高祖、汉文帝、汉武帝的庙分别定为太祖、太宗、世宗庙，而其他的帝庙则全数拆毁，包括在各个郡国所设立的帝庙也一并拆毁。所以汉朝的庙号制度，实际上一直到了汉元帝统治时期，才真正开始走上正轨。但这并不意味着西汉时期的庙号设置便就此一锤定音了。
事实上，西汉诸位皇帝的庙号在之后其实发生过好几次调整。而我们开篇便提到过，西汉拥有庙号的只有四个。但实际上在西汉时期，拥有庙号的并不止四个。
因为在汉平帝时期，根据王莽的意见，又把汉宣帝的庙定为中宗庙，并且把汉元帝的庙定为高宗庙，也同样进行祭祀，之后汉成帝和汉平帝也都曾得到过"统宗"和"元宗"的庙号。不过到了东汉时期，元帝、成帝、平帝的庙号都被取消(因为这些皇帝从后世的角度来看确实没有太多可以与前面四位相提并论的作为)，所以最后西汉真正拥有庙号的皇帝也就只剩下了开国君主太祖刘邦、实行德治开创文景之治的太宗汉文帝、击败匈奴开拓西域的世宗汉武帝、以及实现了中兴守成的中宗汉宣帝。
因此，西汉时期之所以拥有十二位皇帝却只有四位皇帝获得了庙号的原因并不复杂，一方面是西汉由于对商朝时期庙号制度的继承与坚持，所以对庙号的设置十分严格与谨慎，另一方面是因为太多的宗庙的设置不利于国家节省开支，所以不宜设置过多庙号。而四位拥有庙号的皇帝其成就又过于突出，所以也就造成了西汉十二位皇帝却只有他们四个获得了庙号这一情况的出现。
