朱元璋之后也是邀请来复来朝廷中做官，但是只给了来复一个七品的职位。而来复看到朱元璋只是给自己这么一个小官之后也是做了一首诗，言辞之中也是自己与其在朝廷中做一个小官，还不如继续做自己的和尚潇洒自在呢。而这样拒绝朱元璋的意思，无疑也是让朱元璋感觉自己很没有面子。
朱元璋也是问到既然你不愿做官，又要做和尚，为什么你还要留着胡子呢？难道你还想做美髯公不成？来复也是回应十个字"削发除烦恼，留须表丈夫"。也就是削发只是为了出去俗世中的烦恼，而留着胡子是为了证明自己的大丈夫气概。朱元璋听了他的这个解释也是没有为难，便允许他归隐山林。
不过朱元璋这个人小肚鸡肠史书中也是有着记载的，来复嫌弃官职小不愿做官也是让他记仇了，而当时来复在民间的名声还是比较大的，不能直接处死他，朱元璋也是在寻找机会处死他。而后面朱元璋也是想到了一个办法，就下旨宴请来复，没想到就是这么一顿饭却是为来复带来了杀身之祸。
