曹操因此对祢衡怀恨在心，但碍于祢衡的才气与名声，只能一忍再忍，不敢杀他。曹操听说祢衡擅长击鼓，于是就任命祢衡为鼓吏。有一天，曹操宴请宾客，检阅鼓吏们的鼓曲，这些鼓吏得到消息后都纷纷换上鼓吏专门穿的衣服，一一进行演奏。但是轮到祢衡上场的时候，祢衡却没有换衣服，直接演奏了一曲《渔阳》鼓曲，他演奏起来十分投入，姿态也与众不同，鼓曲也十分悲壮，在场的人听后都十分感慨。
过了一会，祢衡走到曹操面前，这时下吏呵斥祢衡说："你怎么不换衣服，怎么这样轻率进见？"，祢衡听后说："好"，于是在曹操面前脱掉自己的衣服，然后光着身子不慌不忙的拿起鼓吏的衣服穿上，在场宾客一片哗然，看的目瞪口呆，祢衡穿好衣服后，继续击鼓，击鼓完毕，就离开了。曹操看后笑着说："我本想羞辱他，没想到让他给羞辱了"。
孔融见大事不妙，于是责备了祢衡，顺便在曹操面前说了祢衡愿意赔罪的话，曹操信以为真，于是等待着祢衡前来谢罪，可是等了很晚祢衡都没有来。不久，祢衡穿着极为普通的衣服，头上缠着普通的头巾，手中拿着三尺长的大杖，坐在曹操大营门口，一边用杖捶地，一边痛骂着曹操，曹操听说后十分生气，于是对孔融说："祢衡这混蛋，我杀死他就像杀死一只麻雀简单，但他一向有虚名，杀了他会有人认为我不能容人，所以就把他送给刘表吧"，于是派人把祢衡送给了刘表。
