所以没过多久，就有不少人到朱元璋那里诬陷他。李善长因罪被处死的时候，解缙还站出来替他辩解，这让朱元璋很是头疼。说白了，朱元璋很是欣赏他的才能，但是觉得这个人情商太低，不适合在朝为官，于是就让解缙父亲将他接回去了。
解缙在老家待了八年，每天就看看书，今天校对一下《元史》，明天补写一点《宋书》等等。洪武三十一年，朱元璋驾崩，建文帝登基。本想新皇帝上任，自己又可以施展才华了，谁知朝中仍有人诬陷他，建文帝就将他贬去做河州卫吏了。
直到建文四年，董伦在建文帝面前极力举荐解缙，建文帝这才将解缙召回来，最后让他任内阁首辅。做了内阁首辅，终于有施展抱负的机会了，谁知这时朱棣胜券在握，建文帝大势已去。
所以为了有机会施展抱负，解缙才会选择归顺朱棣，因为在他看来，朱元璋和朱允炆都是不识英才之人。自己归顺朱棣后，说不定就能够被重用了。
