这个举动，惹得朱棣非常的不满，这朝廷里他是第一个如此反对的，所以异常的生气。正好此时也有不少觉得他有冒失的大臣在一旁煽风点火，终于，李时勉被朱棣推进了大牢，这一进大牢就一直就是许多年。
终于朱棣离开了人世间，他的儿子，朱高炽顺利掌管朝廷，当了君主。仁宗以为李时勉经过了这次牢狱之灾会重新做人，懂得好好说话，可这一次，朱高炽错了。仁宗一直很是厚重，对待所有人都比较和善，这是他的性格所决定的，当他把李时从大牢里请出来，准备让他再次大干一场时，结果发现李根本就是上朝不上书，且就算上书也乱说一通很是应付。这让一向宽厚的仁宗很是恼火，他在朝上与李大吵了起来，可李更是不服软的主，句句抗争，把仁宗气的更是火冒三丈，激动之中，便派身边的人用金瓜打他，砸他，终于李时勉因断了三根肋骨，闭了嘴。为了惩罚他，仁宗把他调到了当时最远的越南省。而李时勉更是来劲，他每天都会给仁宗写奏折，气的仁宗每每骂他。
