但是，他却有一个很大的缺点，那就是好色。据说，在他的府中养着100多位妻妾，这样的数量就连皇帝都望尘莫及。要知道，汉景帝在位的时候，因为后宫空虚，所以还专门去找自己的姐姐帮自己物色美人。而这位大臣却自己在府中娶了这么多妻妾，实在让人汗颜。
而且这位名相还十分喜好奢靡，在他年纪大了之后，牙齿也掉得差不多了，没有办法吃需要咀嚼的食物。而且当时也不可能有假牙之类的东西，所以他就只能喝粥或是喝奶。没过多久，他就厌烦了这样的食物，竟然决定要去品尝人类的乳汁，所以他就专门养了一批年轻的女子，专门喂饱自己，这样的做法实在是惊世骇俗。
更让人意外的是，不知道是不是因为他吃的食物实在特殊的缘故，他的身份一直很硬朗而且很长寿。因此当时还有不少人效仿他的做法来延寿，但是却没有一点效果。可见，长寿与否还是看自己身体的状态。很多人多想不明白，像他一样位高权重的开国功臣为什么样做出这样令人不齿的事情呢?
很多人认为，历代皇帝登基后，首先就会处理那些功劳过高又备受百姓信任的功臣，以免他们权势过大影响了皇权。而在当时，确实有不少功臣命丧于自己效忠的皇帝手中，所以不少人觉得他是为了自保所以才装成这样不堪的样子，让皇帝不再忌惮他。
