为了能继续读书，匡衡又把主意打到了离自己家很近，且有很多藏书的富贵人家。匡衡对富贵人家的主人说："请收留我在您家里做工，但我不要工钱，能让我看您的藏书就行。"主人见他小小年纪，竟如此好学，当即收留了他。
长大后的匡衡才华横溢，但科考之路并不平顺。汉朝时，博士弟子掌握六经中的一经，就有资格参加考试，获得官职。考试得甲科，可以做郎中，得乙科，可以做太子舍人，得丙科，只能补文学掌故。
匡衡考了九次，才得了丙科，被补为太原郡文学卒史。或许金子到哪都会发光，匡衡由于熟读《诗经》，被刘奭发现。刘奭即位后，为汉元帝，匡衡被重用，升任郎中、给事中。没多久，京城发生日蚀、地震，匡衡引用《诗经》中上行下效的道理，劝谏元帝减少奢靡之风，多行善意之举。元帝颇为受用，加封匡衡为光禄大夫、太子少傅。
