弹劾后来成帝即位之后，匡衡和御史大夫甄谭石显，但是司隶校尉王尊却也弹劾匡衡作为丞相不匡正石显，在他当权的时候曲意逢迎，有失皇帝信任，百官也附和，害怕罪行的匡衡于是上交丞相、安乐侯印玺辞官，因为皇帝新登基，于是挽留了他，依旧宠信。
没多久他儿子因为杀人被关押，结果最后部下打算劫狱，御史很快发现他做安乐侯期间凭借自己丞相的权势圈地四万亩，远超了他安乐侯600户的封底，这让皇帝无法容忍，于是导致匡衡被株连免官，废除安乐侯国，贬为庶人。
由贫民好学到丞相、继而封侯，由丞相圈占土地到废为庶人，老师口中的好学生匡衡就这样完成一生。
自古以来，善始者难善终，屠龙者终成恶龙。匡衡也不例外，不知道是不是小时候家穷，导致当丞相之后圈占民地，但是家贫时候导致的自卑、渴望权势、钱财的名利心可定不无关系。
