后来他的年纪慢慢大了，就想要告老还乡，当时皇上是不同意的。后来觉得他确实年纪大了，所以便同意放他离开。在他走之前还亲自为他设宴饯行，在在宴会中甚至亲自给他给了两句诗，表达自己的不舍。
大概就是说今日一别，不知何时才能相见这样的意思了。宋濂听了之后非常感动，于是就也回了两句诗。大意就是说皇上不必伤感，将来我会每年来看你一次的。皇上也非常高兴，于是给了他很多的赏赐。
并且祝愿他长命百岁，以后可以每年来看自己。但是随着时间的慢慢改变之后，他们之间的感情也发生了变化。因为有一年他的儿子和孙子因为胡惟庸案件的牵连所以被处死了，他非常伤心。
所以那一年就没有来见皇上，皇上非常生气，认为他这是在记恨自己。所以就让人去收回了他的免死铁卷，并且想要杀死他。幸好太子对自己这个老师感情深厚，因而一直在给他求情，为此甚至跳河。
马皇后同样也想尽办法求情，所以皇上并没有杀死他，而是让他去四川。但是很可惜的是宋濂去了一年之后就因为情绪不好抑郁而死了。他一生中虽然享尽了富贵，但是最后却身败名裂，落得一个悲惨的结局。
