其后，潘濬与陆逊一起囤居于荆州，他以本地名士的身份，辅佐陆逊，成为东吴在荆州的定海神针。因此一直到潘濬去世，曹魏和蜀汉都不敢染指荆州。
对于潘濬，孙权可谓是疑人不用。公元235年，潘濬表兄蒋琬在蜀汉得势，因此有间谍谣传潘濬派遣密使联络蒋琬，打算投奔蜀汉。而武陵太守卫旌就此上表告诉孙权，孙权说："承明不会做这种事。"并反而免除卫旌的官位。
对于孙权的信任，潘濬可谓是昧死以报。在孙权晚年，他逐渐变得老而昏聩，喜欢任用奸佞之臣，其中就包括校事吕壹。对于用法苛刻、经常陷害忠良的吕壹，潘濬可谓是心急如焚。
