正是因为石显乱政以及匡衡的不作为，汉元帝执政后期，国力渐衰，朝纲不正，民不聊生。
有趣的是，后来汉元帝驾崩，即位的汉成帝并不喜欢石显。石显因此而失势，此时匡衡过河拆桥比谁都快，立刻联合朝臣弹劾昔日的队友，最终石显在队友的攻击下倒台。就这样，匡衡踩着石显在新皇帝面前好好表现了一波。
虽然曾经因为和石显沆瀣一气，匡衡丧失了不少的人气。但是这次扳倒石显，匡衡乃是首功，人气重回巅峰。当时匡衡的人气有多高？他的儿子杀了人，百姓们纷纷走上街头，为其请愿求情。在民意面前，连皇帝都不得不妥协。
然而，一朝天子一朝臣，皇帝终究换了，口味也就变了。汉元帝喜欢匡衡的引经据典，口若悬河，汉成帝却不喜欢。匡衡虽然位高权重，但是他的权势更多的是建立在皇帝对他的宠信之上。当他不再受到宠信，曾经那些被他压在脚下的同僚们纷纷站了出来，撕掉了匡衡的伪装。
