但是事实上，在李世民在世的时候尉迟恭就归隐养老去了。不再过问朝政了。晚年的尉迟恭沉迷丹药，不与外人来往长达16年之久。
这件事的起因是，尉迟恭居功自傲，与长孙无忌，房玄龄，杜如晦都有矛盾，关系恶化到不能同朝为官的地步。贞观六年，李世民设宴，大宴群臣。尉迟恭见到有两人排在他的上座，大怒对他们说:"你们有什么功劳，可以排在我的前面。"任城王李道宗排在尉迟恭的下面，去劝说尉迟恭，反而被尉迟恭当场打了，眼睛差点瞎了。
任城王李道宗可是李唐宗室拼战功打出来的王，功劳不比尉迟恭低，只是尉迟恭的对李世民的功劳比他高罢了。李世民对于这件事非常生气，对尉迟恭说:"我读汉书的时候，常常责怪汉高祖刘邦屠杀功臣。所以我善待功臣，但是你做了高官以后，却屡犯国法，才明白韩信，彭越遭到屠戮并非是刘邦的过失啊！"
尉迟恭从此就开始收敛了，再到后来有人诬告尉迟恭谋反，李世民虽为相信，但也责问了他。尉迟恭开始逐渐收敛，后来称病归养。
