《旧五代史·梁太祖本纪》记载：五月甲戌，帝（朱温）与晋军振旅归汴，馆克用于上源驿。既而备犒宴之礼，克用乘醉任气，帝不平之。是夜，命甲士围而攻之。会大雨雷电，克用因得于电光中逾垣遁去，惟杀其部下数百人而已。
天佑五年（908年），李克用病死，终年五十三岁。
据说，李克用死前，拿出了三支箭，他将三支箭交给儿子李存勖，说，第一支箭，我要你讨伐刘仁恭，你不先攻下幽州，黄河以南就拿不下；第二支箭，我要你打败契丹，耶律阿保机与我握手结盟，结为兄弟，曾发誓说一起光复大唐江山，现在却背信弃义，你必须要讨伐他；第三支箭，我要你消灭朱温，你如果能完成我这三个愿望，我死而无憾了。
李存勖把父亲李克用给他的三支箭，供奉在宗庙里。李存勖建立后唐，追谥李克用为武皇帝，庙号太祖。
