据宋人徐梦莘所撰《三朝北盟会编》卷一百一十八引汪伯彦《时政记》称："李成者，雄州归信县弓手也，寡言笑，重然诺，谲诈不情，以骁勇闻于河朔。有众数千，假行仁义，能以甘言抚慰其士卒，故能得众心，累功知归信县。"由此可知，李成原本是雄州归信县人氏，在当地担任弓手，此后被朝廷晋升为归信知县。李成使用的兵器为双刀，重达七斤，"（李）成左右手轮弄两刀，所向无前"，足见其武艺之高强。
两宋之交，金军大举入侵，雄州也成为烽烟四起的战场。经过一番血战，雄州落入金军之手。当时，李成的妻子就在雄州城内，死于乱军之中。李成带着当地的百姓及一万多名部众渡河逃往南宋，被朝廷封为右武大夫、忠州防御使、淮南招捉使等职。不过，南宋朝廷对李成充满了戒心，命李成将手下兵马分成三批，一批前往南京，一批前往宿州，一批前往建康。
