但潘濬在刘备手下八年时间里，却一直过得很不如意，郁郁不得志。当时刘备正处在蜀汉事业发展的关键时期，先后夺占益州、汉中，蜀汉实力迅速壮大，正是英雄用武之时。但潘濬却并未受到刘备的真正赏识，貌似只是把他当成个文弱书生，一直让他待在荆州，八年没动窝。
更让潘濬糟心的是，他与关羽的关系很紧张，两人素来不睦，关羽处处对潘濬进行压制打击，使得潘濬饱受排挤。公元219年，孙权出兵智取荆州，袭杀关羽，荆州地区的蜀汉大臣和军队，大批投降了东吴。
孙权在人才的鉴别方面经验丰富，也不知怎的他一眼看上了潘濬，认定他是可堪大用之才，放手予以重用，先后任命他为辅军中郎将、奋威将军，交给他兵权让他领兵出征。潘濬不负重托，在平定武陵樊胄之乱中立下大功。
黄龙三年（231年）二月，孙权让潘濬带领五万人马，并授予潘濬"假节"之生杀大权，让他带兵出征平定武陵蛮之乱。潘濬出手不凡，"斩获数万，自是群蛮衰弱，一方宁静"。此次事件中潘濬独掌5万大军，并被授予"假节"之权，标志着他已经成为孙权的心腹干将和吴国重臣。
