其后，潘濬与陆逊一起囤居于荆州，他以本地名士的身份，辅佐陆逊，成为东吴在荆州的定海神针。因此一直到潘濬去世，曹魏和蜀汉都不敢染指荆州。
对于潘濬，孙权可谓是疑人不用。公元235年，潘濬表兄蒋琬在蜀汉得势，因此有间谍谣传潘濬派遣密使联络蒋琬，打算投奔蜀汉。而武陵太守卫旌就此上表告诉孙权，孙权说："承明不会做这种事。"并反而免除卫旌的官位。
对于孙权的信任，潘濬可谓是昧死以报。在孙权晚年，他逐渐变得老而昏聩，喜欢任用奸佞之臣，其中就包括校事吕壹。对于用法苛刻、经常陷害忠良的吕壹，潘濬可谓是心急如焚。
潘濬屡次劝谏孙权，应当放逐吕壹，但是鬼迷心窍的孙权就是不肯听。无奈之下，潘濬甚至准备手持利刃，在酒宴上亲自杀死吕壹。只可惜计划败露，潘濬没有让吕壹血溅当场。
但是在潘濬的建议下，孙权最终还是疏远了吕壹，最终被诛杀。公元239年，潘濬去世，距离东吴相位，只有一步之遥。
可以想象，如果潘濬仍在蜀汉一边，一定能成长为不逊于蒋琬、费祎的重臣，一定能成为诸葛亮的好帮手。然而刘备、关羽不识货，导致他转投孙权一方，成为东吴的王炸。正如郝经所说："潘濬方严疾恶，义形于色，梗梗有大节，有吴之栋石也。"
