久而久之，朱元璋便知道了曾秉正不过是纸上谈兵而已，加上常常进言而毫无作为，惹得朱元璋十分心烦，一再疏离下，最后以违抗圣旨一罪将曾秉正罢官还乡。
当时的明朝建国不久，朱元璋为了保证国家发展人民修养，用了极大的力度打击官员贪腐，因此，曾秉正虽然为官几十载，却始终没有什么积蓄。被罢官之后，居然穷得连回去的盘缠都不够。
结果，他便想出来一个损招--把自己四岁的女儿卖了换路费。朱元璋晚年本就多疑，连胡惟庸、常遇春等人都被他除掉，而对曾秉正则是罢官回乡，相比而言已经是比较仁慈了，毕竟曾秉正虽能力不高，但一生清廉两袖清风，也算得上明朝忠臣了。
