王彦超的父亲王重霸曾参与过黄巢起义，后来又投降了唐朝，在后梁时，王重霸官居太子少傅，加尚书，后以光禄卿致仕。王彦超出生于乾化四年（914年），其父对他尤为重视，而王彦超也是十分聪明，绝对是人精中的人精。
王彦超12岁时曾跟着后唐魏王李继岌西征，而班师回朝时，大将李嗣源举兵谋反，后唐庄宗李存勖身亡后李嗣源登基称后唐明宗，李继岌的亲信则纷纷弃主帅于不顾四散逃命，王彦超却始终没有逃跑，直至李继岌遇害。
李继岌死后，王彦超就到凤翔军重云山出家修行了，但拜晖道人认为王彦超是非凡之人，因此赠送银两衣帛劝说王彦超还俗了。在长兴四年（933年），出任河东节度使的石敬瑭遇上了王彦超，他认为王彦超为人正直忠贞，因此召至帐下，视作心腹。
