第二年(公元前201年)十二月刘邦准备要对韩信动手了,于是他召集诸侯到陈县,彭越、英布、韩信都到了陈县与刘邦会合,等大家到了以后,刘邦随即把韩信抓了起来,给的理由是有人说你造反,让韩信非常的无奈,于是刘邦是把韩信带回洛阳,贬为淮阴侯。韩信对自己受此待遇不满,心生怨望,常称病不朝。此时还没有杀韩信,真正的杀他要在几年以后。
第四个收拾的是赵王/张敖
张耳在秦统一六国前是贵族,刘邦没起兵前还当过他的食客,后来秦末乱世,比较早投靠刘邦,也深得刘邦信任, 汉4年韩信带兵攻灭赵王歇以后,刘邦立张耳为赵王,大致辖治原赵国故地,都襄国。第二年秋天,张耳病死。爵位由其子张敖即位为赵王。张敖还是刘邦的女婿,娶了刘邦的长女鲁元公主。
白登之围后,刘邦经过赵地,故意责难张敖,欲在引起张敖发怒,好借机对其动手。果然,赵相贯高就看不过,对刘邦的无礼深为恼怒。到了公元前199年,冬十二月,有人告发贯高谋反,于是刘邦下令,捕赵王下狱。虽然后经查实张敖并未参与,但仍除其国,废为"宣平侯"。