后来，宣武军节度使、梁王朱温逼迫唐昭宗迁都到洛阳，不久又将唐昭宗杀害，立唐哀帝李柷为傀儡皇帝。三年后，朱温又逼迫唐哀帝禅位，登基称帝，建立后梁。李克用等诸侯大多不承认朱温的政权，于是沿用唐昭宗天佑的年号。
当初黄巢之乱时，朱温与李克用一同追击叛军，朱温不满李克用酒后意气用事，于是在夜间发兵袭杀李克，事情失败了，二人从此结下了深仇，兵锋相向。
后梁建立第二年，晋王李克用病逝，李存勖继位。相传李克用临终前交给了李存勖三支箭矢，一支讨燕王刘仁恭，一支伐契丹王耶律阿保机，一支灭梁王朱温。
这时李存勖的叔父李克宁密谋造反，李存勖设计平定了叛乱。而朱温得知李克用已死，于是趁机率兵兵围攻晋国潞州，李存勖埋下伏兵，大败梁军。此战让朱温知晓了李存勖的厉害，感叹说："生子当如李存勖，我的儿子像猪狗一样。"
朱温在位仅四年，便被其子朱友珪弑杀。朱友珪在位不到一年，便被其弟朱友贞弑杀。朱友贞在位时，魏州军士哗变，向晋国投降。李存勖趁机占据魏博，将河北几十州并入晋国。后来晋王李存勖称帝，建立后唐，挥师南下，以摧枯拉朽之势灭了后梁。
