荆州被攻克后，潘濬选择留在江陵，闭门不出。孙权早就听闻潘濬的名声，于是亲自登门造访了他。面对孙权的劝降，内心挣扎的潘濬涕泪交加，伏床不起，孙权以观丁父、彭仲爽等俘虏出身的楚地先贤为例安慰潘濬，又派人以手巾帮他擦脸。受孙权诚意所打动，潘濬且拜且谢，最终决定出仕于东吴。
那么孙权为何如此看重潘濬？这是因为孙权与刘备不同，他更重视于与当地士族搞好关系。潘濬被刘备、关羽视而不见，孙权却将他当个宝。
潘濬刚刚来投，孙权就给他一个重要的任务，那就是平定武陵蛮。武陵蛮是盘踞于荆州地区的少数民族，东汉年间便屡次攻略郡县。而在东吴和刘备之间，武陵蛮站在了刘备一边。
因此，武陵从事樊胄企图煽动五溪蛮夷将武陵献给刘备。为了镇压武陵蛮，孙权决定拨付州官一万兵力。而潘濬则说："哪用那么多人？给我5000兵马就够了"。
