后来儿子因为违法乱纪被关进了大牢，当时匡衡也因此受到连累，被赶下了台，没了官职以后，当初那些反对他的人就开始向皇帝一一讲述之前他犯下的贪赃枉法之事儿。其中最让皇帝生气的就是，原本之前赏赐他的31万亩土地，他竟然得寸进尺，买通处理此事的官员，偷偷为自己多划了4千亩。
之前的事儿皇帝都能忍，但这件事都敢把手伸到皇帝的衣兜里，如此一个贪官皇帝怎么可能再放过，不仅将他贬为庶民，这辈子都不能进宫，还将之前所有的赏赐和奖励都一一收了回来。不得不说我们看事情要看全面，不能只凭他小时候的勤奋刻苦就判定长大依旧是一个良民。
