后来，刘邦再次到张敖那里，张敖仍然对刘邦非常热情，并且将小妾赵姬送给了刘邦，不久赵姬有孕在身，但是刘邦却并没有将赵姬带到宫中，还不承认小妾和他有过关系。不过早有计划的贯高和赵午，还是准备趁此机会将刘邦杀害，但是刘邦却没有在此居住。
后来，他们准备刺杀刘邦的事情，被人揭发。只有贯高和张敖进入京城受到了审判，其他人都自杀了。因为鲁元公主，所以这件事只怪罪了贯高，贯高在那么大的年纪还受到了非常残忍的酷刑，即便如此，他仍然不承认张敖有谋反之心，说张敖并不知道这次谋反的事情。于是刘邦也赦免了张敖的死罪，降了张敖的职位，不过张傲依然和鲁元公主在一起。
其实不难看出来，刘邦很可能含有故意的成分，他故意当众羞辱张敖，故意接近张敖的小妾，就是为了让张敖感到羞辱，反过来进行谋反，他也好判张敖的罪。在那个时候，这八大异姓王一直都是他的心头大患。他先后除掉了其他几个，也该轮到了张敖了，也许是心疼女儿，所以便没有将张敖杀害，只是废掉了他的王位。
