对待自己的妻子，赵匡胤也是真情以对。他的第一任妻子，原配贺氏，与赵匡胤年纪相仿，亦是少年夫妻，感情深厚，她在北宋建国前逝世，赵匡胤登基后追封她为皇后。第二任妻子王氏，温婉恭勤，很得赵匡胤心，二人五年间育有三子，但无奈的是芳华早逝。赵匡胤非常痛心，严惩主事的太医，对待王皇后的弟弟也是多加照顾，非常宽容。而妻弟王继勋却非常不争气，是个无奈不法的混世魔王，做了许多荒唐事。赵匡胤怜惜亡妻，一直对他处处忍让。毕竟赵匡胤也是血肉之躯，有自己的感情，会受到私情影响，也很难做到理智公正。
赵匡胤的后宫人数很少，仅仅只有两百八十来人，之后还因为久雨积阴气，又放归了五十多名的宫女。这与唐玄宗开元、天宝年间四万宫嫔相比，简直不值一提，无法相提并论。从中也可以看出赵匡胤不好女色。有一次，赵匡胤迷恋上一位宫女，因耽误了上朝而遭到了臣子的批评。然后，出人意料的是，赵匡胤就在这位宫女熟睡时将她杀死，以此来断绝自己的松动的心房。这个时候的赵匡胤，理智得残忍而可怕。但又可以理解，他作为铁血帝王的无情和强硬。他对女色仅是一时的迷恋，永远都是先江山再美人，两者一旦有冲突，他会毫不犹豫地选择江山。
