公元前36年，丞相韦玄成去世，匡衡被封为丞相、安乐侯。任职期间，匡衡非常努力，是元帝得力帮手。每次和大臣们讨论国家大事时，匡衡总能引用《诗经》里的典故，处理好国家大事。
元帝后期，朝政较为混乱。宦官石显趁元帝生病，结党营私，扰乱朝政，大儒萧望之被石显逼得自尽。公元前33年，元帝病死，刘骜即位，为汉成帝。匡衡见石显在元帝病重期间，迫害了很多人。成帝一上台，匡衡就列出石显过往罪证。成帝看后，将石显免官，他的党羽也都受了惩罚。
按理说匡衡应该高枕无忧了，但他却因一件小事被免官。元帝封他为安乐侯时，封地本来只有三十一万亩。匡衡利用郡图出错，非法扩占了四万多亩，且没告之任何人。
朝中对匡衡不满的人，以匡衡扩大国界为由，告到成帝那里。成帝派人去查，果真如此，将匡衡贬为庶民。成为庶民的匡衡回到家乡，十分难过，没过几年，就病死了。
匡衡儿时凿壁偷光的故事，鼓舞了很多人，却不想他会以这样的方式收尾。所以说，任何时候都不要贪小便宜，是你的永远是你的，不是你的抢也抢不来。
