赵匡胤代周建宋，想要一统中原，于是广招天下豪杰，听说有位呼延赞占山为王武艺了得，所以统领一队人马来征剿呼延赞。宋军来到山下，赵匡胤分别派杨光美、高怀德等人挑战呼延赞，想见识一下呼延赞的武艺。杨光美率先出马和呼延赞大战五十回合，被呼延赞打败，高怀德出马与呼延赞二人武艺相当，你来我往，难分胜负，大战了近百回合，呼延赞找准时机取出腰间铁鞭，照高怀德面门打来，高怀德一闪正中肩膀，于是败下阵来。赵匡胤鸣金收兵，与众将说道："呼延赞武艺高超，如果将其收降，我军将如虎添翼。"于是曹彬说道："末将愿往山中劝降呼延赞。"
第二日，曹彬独自一人来到山中，呼延赞将其请进聚义厅，曹彬对呼延赞说道："将军如此武艺高强，为何不去辅佐明主，怎么在此做起强盗？"呼延赞说道："父亲原为北汉大将惨遭奸人陷害，被北汉王杀害。"曹彬安慰呼延赞并对呼延赞说："太祖仁义步天下，乃是当世之英雄，将来肯定是一统天下，将军若归顺，将来封侯拜将，岂不留名千古？"于是呼延赞答应曹彬并带领全部手下一起接受招安。赵匡胤大喜，封呼延赞为大将，自此呼延赞跟随赵匡胤南征北战立下战功无数。赵匡胤平定全部割据势力之后大封功臣，加封呼延赞为大宋铁鞭王，并派呼延赞为大宋镇守边庭。
太宗年间，大宋兵分三路大举进攻辽国，一路以杨家将为首，一路以呼延赞为首，一路以潘仁美为首。三路并进，开始打得辽军节节败退，后来由于潘杨之间产生嫌隙，影响两军配合，致使杨家将众人被辽军围困，宋军损失惨重。
呼延赞自从归宋以来，几乎每逢战事，都身临其战，并对子女教育也是要求要忠军报国，呼延赞死后，他的儿子呼延丕显接替他的位置继续为大宋建功立业。
