刚刚开始的时候，朱元璋对于他这种精神还是非常欣赏的，对他也是给予重用。但是由于他过于老实木讷，不会看眼色，有的时候朱元璋对于他的进谏感到十分的反感，他却还是一直坚持着自己的看法，不停的说下去。慢慢的朱元璋对于他经常指正自己错误的这种行为感到很烦，毕竟自己是堂堂的一国之君，曾秉正经常的反对他的看法，让朱元璋经常会觉得自己的权威受到了挑战。
有一次朱元璋刚下了一道旨意，曾秉正就赶紧进宫面圣，对朱元璋说：刚刚下达的那个政策，会增加百姓们的负担，不符合我朝当前发展形势，希望皇上可以收回这道旨意。这让朱元璋感到更加的生气了，人们都说皇上是金口玉言，怎能出尔反尔，听着曾秉正一直在分析这件事情的弊端，让朱元璋耳朵听的都快起茧子了，实在忍无可忍。一怒之下，便把曾秉正贬回自己的家乡去养老。
这位老实的曾秉正听到知道旨意之后被吓得不轻，赶紧收拾包袱准备回家养老，结果却发现自己没有回家的盘缠。一位三品大员竟然连回乡的一点盘缠都没有，他想了想如果自己现在不赶紧回家的话就是违抗旨意，而且圣意难测，说不定一会儿，自己的脑袋就不在头上。
