自然，刘伯温也走上了科举之路。
至顺四年（1333年），23岁的刘伯温参加元王朝的科举考试，考中进士。值得一提的是，按照元朝的制度，年满25岁的成年男子才能应考，据当代学者杨讷考证，刘伯温虚报年龄为26岁，终于蒙混过关。不过，只要是凭真才实学，在旧时，这倒是读书人的一段佳话。
元顺帝至元二年（1336年），已中进士的刘伯温正式踏入仕途，到江西瑞州路的高安县任县丞。所谓县丞，就是县令的属官，官阶还不够"七品芝麻官"，属于正八品，略相当于今日之副县长。
如果不是在元朝，刘伯温会有着一个明朗的前途。作为一个马背上得天下的政权，元朝在建立几十年后依然迷信武力，不尚文治，加上元朝对汉民族的猜忌，因此始终没有建立一整套行之有效的制度。
再加上此时已经是元朝末年，元王朝的统治机器更加迟钝和衰朽，具备乱世所拥有的一切弊端。因此，刘伯温在江西做了5年官，虽"政严而有惠爱，小民自以为得慈父"，但"豪右数欲陷之"，只能辞官而去。
