到了朱元璋时期，刘伯温依然把国法放在第一。刘伯温告诉御史，让他们不要顾及私情，对于那些反法的人，无论是宦官，或者大臣，都要上奏，一律依法处理。很多人都受到处罚，只能收敛。
朱元璋原本是支持刘伯温的。但是，因为得罪朝廷太多大臣，连宰相李善长的亲信，也被刘伯温依法处斩。所以，刘伯温在御史中丞的职位上也没能长久做下去，很快就以妻子去世为理由，告辞回乡。
不过，刘伯温的脊梁骨并没有因为失去官职而软弱。他依然保持自己刚正作风。对于那些错误的事情，坚决指出，即便犯错的人是朱元璋。在离开以前，刘伯温尚书朱元璋，劝他放弃迁都凤阳的做法。凤阳是朱元璋老家。朱元璋称帝后，一直想把国都从南京迁往凤阳。
