汉五年二月，刘邦称帝以后，当即"尊王后曰皇后，太子曰皇太子，追尊先媪为昭灵夫人"，完全没有想到要给自己的父亲刘太公什么称号。直到一年以后，才想到给自己父亲封了个太上皇的虚名。刘太公的地位没有发生实际改变，甚至成为刘邦和群臣取笑的对象。
有一次上朝刘邦问刘太公："你以前老是觉得我是无赖，不如二哥刘仲，现在我取得的成就，和刘仲相比谁更伟大呢？"从这句话里我们可以看出刘邦小时候在家庭中所受到的歧视与对待，也不难理解为什么刘邦对于刘太公这个名义上的父亲如此冷淡，漠不关心。
而大臣们的表现，"群臣皆呼万岁，大笑为乐"，臣子竟然敢以取笑太上皇为乐，则说明这些臣子知道刘邦和刘太公的关系并不亲密，甚至知道两人并非亲生父子，才敢如此放肆。
综合上面，我们不难勾勒出刘邦家庭的发展轨迹，刘媪与人私通生下刘邦，不久后就与刘太公离异改嫁他人，后来生下刘邦同母异父的弟弟刘交。而刘太公也另娶其他女子为妻，组成了新的家庭。因为刘邦是刘媪与人私通生下的孩子，所以在家庭中饱受歧视，最终导致了父子关系的疏离。
或许有人会问，刘邦既不是太公亲生，为什么没有将他逐出家门呢?这是因为，古代男女关系随便，即便是妻子与别人结合生下的孩子，只要是自己的妻子所生，都被认为是自己的孩子。如秦庄襄王娶吕不韦怀孕之妾而生子，生下的是秦始皇嬴政而不是吕政。也就是说刘邦不是太公亲生儿子，但是太公的妻子所生，所以还是太公之子。
