后来交祉上疏对朱棣不敬，朱棣决定发大军讨伐交祉，以征不臣之国，想将其纳入明朝疆域。在朱元璋设立的祖训中，曾严禁历代皇帝攻打交祉、日本等国，将其列入不征之国行列。朱棣这么做显然是违背了祖训。这时解缙觉得有必要谏止此事 。于是上疏极言不可。朱棣没有听从他的劝告。后来交祉被明军攻占，设立了布政司。朱棣对解缙更是有些不屑一顾。
期望太高，失望就会更大。朱棣对解缙已经由宠信转为厌恶。永乐四年，朱棣赏赐黄淮等人二品纱罗衣，唯独没有解缙的分。第二年，朱棣以解缙批改廷试试卷不公，将其贬谪为广西布政司参议。这时礼部郎中李至刚反映解缙有不满之语，朱棣一怒之下将其贬至交祉。当时交祉为新附之地，事务繁重，百姓又叛服不常，地域又非常偏远，生活条件艰苦。朱棣这是故意惩罚解缙。当时你不是说攻打交祉不行吗，现在就把你发配至交祉。朱棣的用心有些低级趣味。
永乐八年，解缙入京奏事，当时朱棣正好北征，不在京中。解缙于是参拜朱高炽后即离开了。朱棣回来之后，朱高煦说解缙眼中没有皇帝，只有太子，无人臣之礼。朱棣勃然大怒，命人将解缙逮捕至锦衣卫诏狱，严刑伺候。
就这样解缙被关至永乐十三年。朱棣以为他已经被关死了，渐渐将其遗忘了。后来锦衣卫指挥使纪纲将诏狱中所关押的囚犯名单例行给朱棣看。朱棣看到解缙时，皱眉说道："解缙还没死呢？"当天纪纲就将解缙灌醉，将其放入雪人中，他很快被冻死了。一代英才就这样陨落了。
