因为曾秉正得罪了很多官员，所以他们老是在皇帝身边说曾秉正的坏话，皇帝听多了也烦，于是朱元璋就罢去了曾秉正的职位，让他回家自己玩去。
其实曾秉正做法很对，但是太不懂的变通和圆滑了。就算朱元璋给他再大权利，伴君如伴虎的道理应该也要明白，皇帝做错了事也不能说骂就骂。再加上官场都是官官勾结，把所有人都得罪死了朝廷哪里能容得下曾秉正，朱元璋身边几百个言官，又不缺曾秉正这一个人，所以曾秉正被罢官也是板上钉钉的事。
曾秉正得知朱元璋罢了他的官，心里自然也有点愤愤不平，但是也没办法，谁让他是皇帝呢。曾秉正准备回老家的时候才发现，自己竟然连回老家的路费竟然都没有。曾秉正因为太清廉了，一点点多余财产都没有，都拿去救济百姓。没路费也没关系，至少还可以借，但是曾秉正才发现别人都不愿意借给他，谁让他把所有人都给得罪死了。
走投无路的他竟然做了一个十分奇葩的选择，他竟然把自己四岁的女儿给卖了，用来换路费。
