辞官后，刘基返回青田，至正三年，朝廷征召他出任江浙儒副提举，兼任行省考试官。因其论御史失职之罪，被台臣所阻，他两次上奏弹劾，后弃官还乡。
据《明史》记载，至正十六年（1357年）时，方国珍起兵海上，抢劫郡县，相关部门无法控制，行省复任刘伯温为元帅府都事。刘伯温建议修筑庆元诸城威逼方国珍，方国珍为之气沮。等到左丞帖里帖木儿招降方国珍时，刘伯温说方氏兄弟首先作乱，不杀他们无以惩后。
方国珍心里害怕，重贿刘伯温，刘伯温拒不接受。方国珍便派人从海路行船至京，贿赂掌权者。于是朝廷下诏招抚方国珍，授予他官职，而责怪刘伯温滥用权力，擅作主张，并让刘基离京去管理绍兴，方氏于是更加骄横。
不久，山寇蜂拥而起，行省又召刘伯温前去剿捕，与行院判石抹宜孙一起驻守处州。经略使李国凤将其功劳上奏，主持政事者因方氏之故压制刘伯温，授他为总管府判，却不让他掌握兵权。刘伯温于是弃官归隐青田，在他47至50岁时著《郁离子》一书以明志。当时躲避方氏的人都纷纷投靠刘伯温，刘伯温稍做部署，贼寇便不敢来犯。
