传说中的尉迟敬德面如黑炭，擅使铁鞭，骑着乌骓马。在《西游记》一书，尉迟恭与秦琼因保护唐太宗李世民免于龙王鬼魂之犯，而成为了两位道教传统门神。尉迟恭年少时曾为铁匠，因此后世铁匠常奉之为守护神。
据《旧唐书·列传第十八》记载："大业末，从军于高阳，讨捕群贼，以武勇称，累授朝散大夫。刘武周起，以为偏将。"
尉迟敬德年少时是以打铁为业。在隋炀帝大业末年，他在高阳参军讨伐暴乱兵众，并以勇猛闻名，一直提拔到了朝散大夫。后来，马邑鹰扬府校尉刘武周杀太守王仁恭，由此起兵反隋。而刘武周闻知尉迟敬德作战勇猛，便将其网罗到自己麾下，担任偏将。
于武德三年，李世民在柏壁城讨伐刘武周，而刘武周则命令尉迟敬德以及宋金刚等人，到介休县去抵抗唐军。结果是宋金刚战败，并逃往突厥，而尉迟敬德则据守介休县城。之后，李世民派遣任城王李道宗以及宇文士及进城劝降，尉迟敬德遂与寻相以介休、永安二城降唐。
