有一次，李世民大摆宴席，尉迟敬德发现有人的席位在自己上面，非常不满直接跟人吵闹了起来。李道宗不愿把事情闹大，亲自出面为他们调节，结果被尉迟敬德一拳打在眼睛上，差点成了瞎子。李道宗受了这么严重的伤害，却没有跟尉迟敬德斤斤计较，反倒是李世民生气的对尉迟敬德警告说，我之前一直认为刘邦对功臣做得太绝，想着能够跟大家和睦相处，现在看你这样肆无忌惮，才发现刘邦当年诛杀韩信确实是迫不得已。
李道宗晚年因身体不适，给自己请了一个闲职，逐渐淡出了朝廷的事务。后来，高阳公主和房遗爱等人密谋造反，事情败露后牵连了很多王公贵族。在这场动乱中，李道宗基本没有参与，可他还是被有心人扣上了高帽。欲加之罪何患无辞，李道宗最终被判流放，在前往象州的途中，因病去世享年54岁。李道宗晚年因冤狱，被人流放至死，下场凄惨让人惋惜。
