匡衡对《诗经》颇有研究，解读生动有趣，为很多人称道，所以他为官远离京城的这件事让很多人打抱不平，长安县令杨兴就是一位，他向乐陵侯史高举荐学识渊博的匡衡，于是匡衡成为议曹史，然后史高进一步将匡衡推荐给汉元帝，匡衡成为郎中，后为博士，给事中。当时正值京中有日蚀和地震等视为灾难的现象出现，匡衡及时的引用《诗经》来劝谏汉元帝，得汉元帝欢心，成为光禄大夫、太子少傅，但后期的匡衡为官有点见风使舵，明哲保身。
汉元帝是汉宣帝刘病已和许平君的长子，重儒学轻法家，当初刘病已给汉元帝留了三个辅政大臣:史高、萧望之、周堪。萧望之是当世大儒，颇得汉元帝的信任，外戚史高渐渐和萧望之失和，对于汉元帝优柔寡断的性格，萧望之担忧外戚和官宦会干政，遂提出不少建议，汉元帝还未采纳，外戚和官宦们却行动了，并联合起来对付萧望之，最终逼死萧望之。官宦石显很快成为汉元帝的心腹。
萧望之的教训一直让匡衡记忆犹新，虽然后来他因为汉元帝对儒学的看重成为丞相，受封乐安侯，位极人臣，但他仍旧小心翼翼，对权势滔天的官宦石显能避则避，避不开就支持。
公元前33年，汉元帝去世，汉成帝继位。所谓一朝天子一朝臣，汉成帝很快对石显下手，明升暗降，将石显孤立起来，然后匡衡联合御使大夫等弹劾石显，最终石显下台，然而匡衡并未因此立功，反而被王尊捏住把柄，说他一国宰相，之前却没有弹劾过石显，新帝已立，也没有认识到自己的错误。匡衡自知理亏，请求告老还乡。
