不过，甘宁在黄祖帐下也没有得到重用。据《甘宁传》载："祖以凡人畜之"。在裴松之注引《吴书》中也有相同的记载："祖不礼之"。后来，孙权征讨江夏时，黄祖兵败而逃，吴将凌操驾小舟在后面紧追不放。甘宁为了掩护黄祖撤退，只身拦截吴军，并一箭射杀了凌操，立下了大功。即便如此，黄祖对甘宁依然未加重视。当时，江夏的都督苏飞看不下去了，就给甘宁支招，让他另投明主。就这样，甘宁投到了孙权的帐下。
甘宁投靠孙权时， "周瑜、吕蒙皆共荐达"、"孙权加异，同于旧臣"，此时甘宁才得到了重用，在仕途上有了出头之日。由于甘宁在江夏射杀了凌统的父亲，为了避免二人之间的摩擦，孙权一直没敢让甘宁独自统兵，总是作为随将出战。
一、汉献帝建安十三年（公元208年），甘宁跟随周瑜参加了赤壁之战，之后，又在江陵之战中，以千人之力守城，阻击了曹仁五千人的围攻；
二、汉献帝建安十八年（公元213年），曹操号称四十万大军进攻濡须，孙权率七万之众出兵迎敌，甘宁率部为前锋。为了挫一下曹军的锐气，孙权密令甘宁趁魏军还没有稳固之际来一场奇袭。甘宁领命之后，精心挑选了一百多名勇士，趁着夜间直接偷袭了曹操的中军行营，斩杀守军数十名。曹操及众军士惊慌不已的时候，甘宁已经率部安然返回了大营。据裴松之注引《江表传》载，此次偷袭之后，孙权非常兴奋，称曹操虽然有张辽，但是，我有兴霸（甘宁，字兴霸），"足相敌也"；
