除了儒学之外，刘伯温博览群书，诸子百家无一不窥，尤其对天文地理、兵法数学，更有特殊爱好，潜心钻研揣摩，十分精通，这应该是刘伯温此后能够辅佐朱元璋的知识储备。
1333年，二十三岁的刘伯温赴元朝京城参加会试，一举考中进士。但元朝文人地位低下，也不太注重科举考试，于是刘伯温在家闲居三年，直到1336年才被任命为江西高安县丞（正八品），协助县令处理政务。在任官五年内，刘伯温处理地方事务的原则是"严而有惠爱"，能体恤民情，但不宽宥违法的行为；对于发奸摘伏，更是不避强权，深受当地百姓爱戴，深受当地豪强痛恨。
与元末明初朱升等诸多名仕一样，由于元朝官场过于腐败黑暗，汉官难以掌权，升迁基本无望，1346年刘伯温辞官隐居。但透过刘伯温的经历来看，这是一个能力惊人的名仕，之所以归隐，只是不愿在官场沆瀣一气。
1359年，朱元璋当打下浙江金华之后，听说刘伯温、宋濂等人，就"以币聘"，开出高薪，结果刘伯温根本没有响应，《明史》记载是"及太祖下金华，定括苍，闻基及宋濂等名，以币聘，基（刘伯温）未应"。
