汉文帝刚开始听到很多人称赞季布，便将他调入京城，打算重用季布。可这时，季布的敌人得到消息，便开始传播中伤季布的谣言。当时季布已经入京，等待皇帝的宣见，结果汉文帝听到谣言后，迟疑了，不打算继续用他，而是让回去。
季布的脾气上来了，觉得皇帝怎么这么没主见，果断开怼："臣无功窃宠，待罪河东。陛下无故召臣，此人必有以臣欺陛下者；今臣至，无所受事，罢去，此人必有以毁臣者。夫陛下以一人之誉而召臣，一人之毁而去臣，臣恐天下有识闻之有以闚陛下也。"
这番话前面是说自己的事情，他很机智，没有抱怨自己会怎样，而是说陛下您因为他人的赞誉就重用人、他人的诽谤就贬谪人，这样会让全天下有能力报效朝廷的人寒心，说罢就打算回辖区继续当太守。
史书记载汉文帝的反应：上默然惭（皇上默然不作声，觉得很难为情），良久曰："河东吾股肱郡，故特召君耳。"
