刘备领荆州时，潘濬被任命为荆州治中。虽然他的官衔不大，但权力很大。然而，荆州潘濬的官位在刘备称王后，从此再也没有得到提升。"先主入蜀，以为荆州治中，典留州事，亦与关羽不穆"
在关羽眼里，潘濬是可有可无的，就像垃圾一样。关羽被杀，东吴赢得荆州后，众人皆归附，但潘濬闭门不出。孙权到了江陵，亲自登门探望，发现潘濬因病卧床不起。到此潘濬归降东吴。
此后，潘濬获得了一个舒适的职位。潘濬和陆逊在文武官员的配合下，长期镇守荆州。他们共掌州事，取得了突出的成就。潘濬曾指挥全军以五万讨武陵蛮，并平息了荆州地区的这一长期夷患。
看到潘濬作为叛逃者受到如此青睐，东吴的一些官员患上了红眼病。235年(嘉禾四年)，潘濬的堂兄蒋琬升任蜀汉将军。有人散布谣言说，潘濬派了一个秘密特使去蜀汉与蒋琬联系。孙权立即解释说："承明不为此也"。
