汉元帝也是一个热爱《诗经》的人，还是太子时就听过匡衡讲《诗经》，每次听都是佩服得五体投地，他当上皇帝之后就把匡衡升职了。匡衡升职没多久，皇宫外出现了日蚀和地震，这两个自然现象在古代不是什么好事，有亡国和代表统治者昏庸的意思，匡衡借机用《诗经》里的道理劝汉元帝多亲近忠臣，远离小人；减少宫中铺张华丽的装饰，弘扬仁爱之风。
匡衡的一番话让汉元帝很满意，再加上汉元帝，担任光禄大夫、太子少傅。公元前36年，原来的韦丞相病逝，汉元帝就让匡衡来替补这个位置。
匡衡从一个草根农民逆袭到宰相，这是多少人想都不敢想的，匡衡年轻时候在底层吃过很多苦，比别人更懂老百姓的疾苦，应该多为国家做些事才对，可他到了万人之上一人之下的位置后，并没有为国家为百姓做些什么，而是变成了一个自私自利的人，教科书和老师怕毁了孩子们心中匡衡勤奋读书的形象，匡衡后面做的事也就不教了。
匡衡位至宰相后经常联合宦官石显打压自己不喜欢的大臣，武将陈汤常年征战沙场，本来跟他们这种文臣没有竞争关系，但匡衡和李显仅仅就是因为害怕陈汤地位超过他们就恶意打击陈汤。公元前36年冬，陈汤在攻打匈奴的时候遇到危急情况，他来不及等汉元帝下旨就假传圣旨把兵调走，陈汤最后打赢了胜仗，杀死1500多人，俘获145个俘虏，斩获了郅支单于的头，还说了一句流芳百世的名言："明犯强汉者，虽远必诛！"
