严格上来说，匡衡的仕途生涯是从汉宣帝过世后，刘奭登基称汉元帝时开始算起的。因为汉元帝喜爱儒家思想，对儒生十分重视，使得萧望之的地位水涨船高一时如日中天、风头无双，自然遭到了不少人的愤懑与不满，于是有不少人来为同为托孤大臣的史高提议，这样下去不行呀，不如咱们也给陛下举荐一个儒学大师，一来可以显示咱们的宽广的胸怀努力为朝廷招揽人才，另一方面可以得到更多士子的追随有势力去对抗萧望之。于是曾经与太子时期的汉元帝讲解《诗经》的匡衡，被史高举荐，作为一个对抗萧望之的棋子走向了政治舞台。
初入政途的匡衡对汉元帝提出了不少有价值的建议，汉元帝在位时期天灾不断，针对各地接连不断的自然灾害，匡衡在呈递上去的《政治得失疏》中积极发表了自己的看法，他表明："皇宫应该节省开支，皇帝应该亲近贤臣远离小人，选拔人才，广开言论。"这一系列的建议深得汉元帝的欣赏。
但是当时的政党之争以及宦官把持朝政，外加皇帝对宦官石显的言听计从，使得一众大臣不敢进言。在石显联合史高逼死大儒萧望之的时候，地位举足轻重的匡衡一句话都不敢说。
这时的匡衡已经从一个痴痴钻研学说的学者变成了一个老谋深算的政客，他在政海中几经沉浮，自己也变成了争斗的中心。在当时赫赫有名的大将军陈汤打了胜仗即将班师回朝的时候，因为匡衡害怕陈汤对自己的势力造成不可控制的影响。
