曾秉正为官刚正廉洁，对于朱元璋部分不正确的政策据理力争，于是朱元璋以忤逆的罪名摘了他的乌纱帽，《明史》："寻竟以忤旨罢。"清官虽然好，但是却不懂皇帝的心，所以有的时候过于耿直反而会触怒皇帝，曾秉正就是因此被罢官回乡。
洪武十三年，1380年，曾秉正告老还乡，但是他太过清廉，以至于两袖清风。虽然朱元璋给官员的俸禄不算低，但是都是以大明宝钞的方式发送。在明初，大明宝钞的购买力非常低，远不及同等额度的金银，所以曾秉正虽然当官数年，却依旧穷得叮当响，就连回家的路费都没有凑齐。
没钱回家也不能一直待在京城，不然朱元璋的疑心会更重。于是曾秉正做了一个决定，也正是这个决定让他被朱元璋痛恨厌弃，甚至对他施以宫刑。到底是什么样的决定呢？
《明史》记载："贫不能归，鬻其四岁女。"贫穷到回不了家，于是他把他四岁的女儿买了凑足路费回家。朱元璋最恨卖儿卖女，更不要说是一个三品大员，他认为曾秉正是故意做戏给自己看，大怒认为这样的人不能当一个好父亲，于是对他施以宫刑。"帝闻大怒，置腐刑，不知所终。"
朱元璋对他的惩罚就是施以宫刑，让他以后都当不了父亲。而史书记载，曾秉正在受刑之后不知所踪。宫刑对一个官员的侮辱非常大，历史上也只有太史公司马迁坚持下来还完成了《史记》，曾秉正的"不知所终"估计大半是看不开，选择了自我了解。
