王君廓是山西平定人，自幼出身农家，饱受贫苦饥寒。隋末乱世中，王君廓凭着一腔胆勇，愤然起兵造反，拉起一支队伍自立山头。起兵之初，王君廓就表现出超乎寻常的军事天赋，他带着一帮山贼草寇组成的乌合之众，却能屡次击败隋朝军队，连隋朝名将宋老生都吃过他的亏。后来瓦岗军兴起，王君廓带领手下投奔瓦岗寨，成了瓦岗军一员战将。
瓦岗军败落后，王君廓改换门庭，投奔唐朝，成为李渊李世民手下的大将，从此如鱼得水，大展宏图。武德三年，在唐军与王世充的战事中，王君廓巧设埋伏，大破王世充手下大将魏隐。武德四年，在与窦建德的虎牢关之战中，王君廓带领千余人兵力，抄了窦建德大军后路，切断窦建德的粮草辎重供应，为战胜窦建德立下首功。
