至此，刘宇才明白，他之所以能入阁，并非他多么出色，刘瑾多么抬举他，而是要给新秀张彩让路，把吏部尚书的位子腾出来，把吏部右侍郎张彩扶正，"瑾欲大贵彩，乃命刘宇入内阁，以彩代之"（《明史·张彩传》）。
当时，正处中伏，大热天。听了这话，刘宇吓得出了一身冷汗，灰溜溜地回去了，"宇乃不敢入而行"，接着"宇辞且乞省墓"。离开京城后，刘宇回到老家祭祀扫墓。次年（1510年）六月二十二日，"刘宇以展祭还，至是乞致仕，许之，仍赐之，敕令有司月给米四石、岁夫六名"（《明武宗实录》）。
刘宇名义上是内阁辅臣，因为刘瑾一句话，一天班也没上，一天宰相也没当，可谓离奇。同年八月，刘瑾事发，作为刘瑾的心腹之一，刘宇受到惩治，鉴于他已经退休，遂削官为民，剥夺一切待遇。两年后，刘宇病死家中。
