推翻秦朝之后，他便开始改革，将秦的刑罚废除，又命令军队不能扰民，百姓受了好处，当然也就拥护他。当时一同进入咸阳的项羽则对手下的烧杀抢掠视而不见，百姓怨声载道。
当项羽和刘邦在互相争夺争取的时候，刘太公还被项羽放到了一个架子上下面还放着木块生起了火，并声称只要刘邦不投降，就直接把他的父亲下锅煮了，以此来威胁刘邦。却没想到刘邦一点都不着急，还要项羽分他一块肉吃，最后幸亏项伯，刘太公才活了下来。之后项羽的军队慢慢不如刘邦，于是他便放了刘太公回去。
刘邦打败项羽当了皇帝之后，他的家人当然也跟着沾光，刘太公则成了第一个自己还没去世，儿子就成了皇帝的人。
在入住皇宫以后，刘邦每天都会去拜见他，行父子之礼。刘太公的随从在某日刘邦离开之后提醒道：虽然皇帝是你的儿子，但是皇上是天下的统治者，任何人见了都要下跪的。刘太公听完也觉得有道理，于是在此后的每次，都会赶到门口迎接拜见刘邦。
自己的父亲向自己下跪，这让刘邦很是尴尬，他是个孝子，但是同时也是皇帝。自己老是下跪确实在规矩上行不通，但是对方又是自己的父亲，要是不跪，又在孝道上行不通。于是刘邦就开始思考解决这个问题的方法--封刘太公为太上皇。太上皇地位比皇帝要高，但是没有实权，最重要的是刘太公可以名正言顺的不用向刘邦下跪了。之后刘邦的这个方法也被后世沿用了两千年。
