匡衡靠打工为生，他打工不要钱，只求看遍雇主家里的藏书，他的好学精神感动了雇主，对方将那些书都借给他阅读，于是匡衡的知识面更广了。长大后，匡衡就去拜汉朝"博士"为师，更深刻地钻研《诗经》，考了很多次考试，才考中了一个小小的太原郡文学卒史。
虽然职位低，但匡衡在太子刘奭面前露了脸。太子喜欢这些儒家经典，更喜欢听匡衡讲《诗经》，所以太子即位（史称汉元帝）之后，匡衡就逐渐得到了重用，甚至官至丞相。他给汉元帝提出的很多建议都被采纳，比如劝汉元帝俭省宫廷用度、亲贤臣、远小人等。
匡衡成为了《汉书》里面记载的一代名相，但他最终却被贬为庶人。事情的起因是汉元帝把匡衡封为乐安侯，获得了侯爵的匡衡，本来只应该拥有31万亩的封地，但那时候的地图还不够先进，很多地方都有误差，匡衡发现了其中的漏洞。
可能是一时贪心，匡衡利用这个漏洞，将自己的封地扩大了4万多亩。汉元帝并没发现匡衡的所作所为，直到汉成帝即位后，匡衡才被人参奏，于是汉成帝对他采取了惩罚措施，削去了匡衡的封号地位，把他贬为庶人，匡衡只好回到老家生活，没几年就病逝了。
