朱元璋刚登基时，提出"世乱则用武，世治当用文"的观点，几乎所有人都认为文臣们的春天来了，在刘伯温的推荐下，高启入朝。当时高启32岁，正值壮年，和朱元璋一见如故，朱元璋让高启做皇子们的老师，又让高启和宋濂一起编撰《元史》。可见，朱元璋最初对高启还是十分尊重的。
但是，仅仅过了3年，高启就厌倦了官场生活，想寄情于山水，朱元璋曾有意提拔他为户部侍郎，高启以自己资历不够为由拒绝接受，并且提出辞官归乡。朱元璋非常惋惜，赏赐高启金银，让高启放飞自我。
高启远离朝堂之后，无官一身轻，称自己"不为五斗米折腰"，这种说法让朱元璋有些反感。更为甚者，高启曾写了一首《题宫女图》诗，其中一句曰：
"小犬隔花空吠影，夜深宫禁有谁来？"
