但是，凤阳地小位偏，根本无法承担身为国都的重任。只是朱元璋不听大臣劝谏，执意在凤阳修建国都城墙。刘伯温还告诫朱元璋，不应该忽略对北方元朝的残余势力。只可惜朱元璋没有听进去，等到后来吃亏，才又念起刘伯温的好处，重新把他召回京城。
刘伯温被召回京城后，朱元璋多次提出要为他加封爵位。甚至连刘伯温的祖父，也要一并加封。刘伯温都一一拒绝了。朱元璋又想让他担任宰相的职位，也被刘伯温一并推辞。
刘伯温毕竟是开国功臣。在洪武三年朱元璋对功臣的统一分封上，刘伯温被授予资善大夫、上护军，封为诚意伯。资善大夫、上护军都属二品官阶。如果跟现在的行政级别对比的话，大致相当于正国级副职的官职。
刘伯温之所以没有被授予正一品，很大程度还是因为，明朝开国初年的时候，崇尚武力。所以，正一品中，基本都是以武将为主，文官数量极少。
但在获得封爵授官的第二年，刘伯温就回到家乡隐居。虽然朱元璋仍会写信询问，但刘伯温在回信后，都会把草稿烧掉。平日里跟普通百姓一样，也不愿跟当地官员见面。这种退休生活一直持续到洪武八年，刘伯温去世，享年六十五岁。
