但是跟一个山贼比起来，上述这些势力对于李唐来说，最多算是癣疥之疾。他就是河北农民军首领魏刀儿，此人曾经给了李渊与李世民巨大的精神压力。魏刀儿自幼便胸怀大志，如果隋炀帝没有那么作死的话，魏刀儿最多也就是个胆子大的流氓。
然而，隋末大乱却给了他机会，魏刀儿得以乘势而起，拉起了一支精锐的队伍。虽然魏刀儿大字不识几个，但在兵法谋略上却有着自己独特的见解，他屡次带领手下的山贼击溃隋军。
虽然魏刀儿带着手下的这支队伍击溃了不少隋军，但是他很快就意识到了，如果自己想要在乱世成就一番霸业，就必须要有一块自己的根据地。经过反复研究后，他选择以富庶闻名天下的太原与山西地区，要命的是，这块地方正是李唐的基本盘。
魏刀儿的到来，让李唐势力措手不及。史书上记载如下，"魏刀儿众数不少，劫掠多年，勇于力战。"本来李渊是准备攻取关中，扩大自己的地盘，但这时候，则必须拔掉魏刀儿这颗头疼的钉子才行。
