项羽的分封不止刘邦一人不满，其他诸侯也相当不满，最初刘邦想要谋攻项羽，但他身边的谋士萧何进言，此时进攻项羽还不是时候，因此刘邦并忍下来了，韩信则开始被刘邦重用，逐渐崭露头角。
公元前205年，刘邦已兼并三秦，做好准备攻秦，此时赵国、齐国、梁地都已反叛，项羽认为齐国最近，威胁最大，于是进攻齐国，但项羽的手段使得齐人纷纷复叛，但是在彭城一战中，刘邦战败，诸侯觉得站刘邦胜算不大，因此转投项羽。
刘邦到下邑时，楚军已抓走了他的父亲刘煓、母亲刘媪和妻子吕雉。后在京索之战中，汉军击败了楚军，项羽退回荥阳以东，汉军则不能过荥，楚汉两军相持于荥阳，不过汉军逐渐得势，公元前203年，刘邦与项羽对峙于广武山（今河南荥阳东北）。
项羽为了让刘邦投降，于是威胁刘邦如果不投降就将他父亲煮了，结果刘邦面不改色，大喊道："吾与羽俱北面受命怀王，约为兄弟，吾翁即若翁；必欲烹而翁，幸分我一杯羹！"
