刘伯温在县丞的任上廉洁正直，当时所在的江西行省要提拔他，刘伯温知道之后就辞官回家了。不久之后，他又出任了江浙儒学副提举。在上任的时候，因为御史的诸多失职，刘伯温一直想弹劾他，但是一直被同僚所阻挠。看到了官场的黑暗，刘伯温弃官回家，打算永远不再出仕。
此后二十多年，刘伯温一直半隐居在家乡，而他的名声却远传越远，彼时已经有人将他称为在世的诸葛亮了。期间元朝的统治已经接近尾声，江南各地纷纷起兵，各处势力都占据地盘，天下又处于混乱纷争的状态。刘伯温虽然半隐居乡野，但是对天下大势也时刻关注着。
那时候江浙地区有方国珍势力，元朝想要启用刘伯温对付方国珍，刘伯温略施计策，最终逼降了方国珍。刘伯温向朝廷建议必须杀了方国珍才能起到震慑的效果，方国珍忍不住向刘伯温行贿，希望他能周全自己。刘伯温不接受，方国珍于是就绕开浙江，直接去贿赂朝廷里的大员。
方国珍最后还被授予官职，刘伯温反倒受到了斥责。过了不久，江浙地面又出现了贼寇，朝廷又派刘伯温去处理，但是却不给他兵权。刘伯温于是又弃官隐居去了。但此时他的名声很大，已经引起朱元璋的注意了。
