几年后，香孩儿到了读书的年龄，父亲正式给他取名叫赵匡胤。匡者，匡扶、保佑也；胤者，胤嗣、后代也。父亲对儿子确实是寄有厚望的。小匡胤也没有让父亲失望，少年时代，他不但书读得不错，而且同父亲一样，在习武方面也表现出天赋，"学骑射，辄出人上"，几年下来，已是一个弓马娴熟，小有名气的骑手了。
不过，赵家在赵匡胤长大的这十几年中却一步步衰落下来。赵弘殷本是后唐庄宗李存勖所宠爱的战将，自李存勖在兵变中被杀后，他就开始受到冷落。这期间，赵家又添了二男二女，家境也日益艰难起来。可以说，赵匡胤的青少年时代，是随着父亲走南闯北，打工卖艺度过的，从小就看尽了世间的眉高眼低，尝遍了生活的酸甜苦辣。
