潘濬跟关羽之间，两人虽然是同事，但关羽也不愿多跟他接触，毕竟两人性格合不来，关羽死后，孙权对潘濬却十分尊敬，结果让他感动得"涕泣交横，哀咽不能自胜"，就这样潘濬投降了孙权，来到孙权阵营的潘濬，脾气还是一样的大，连孙权都要让他三分。
孙权特别喜欢打猎，潘濬就给他进谏："如今天下未定，你身为君王，应以国事为重，打猎这种事情不要再干了。"孙权被他逼得下不来台，便说："我以前喜欢打猎，如今早就不玩这调调了。"潘濬听后二话不说，直接把孙权的宝雕弓给折断了，然后扬长而去，看得孙权目瞪口呆，竟然说不出话来。
由此可见潘濬的性格，多么野蛮霸气，他跟关羽不合也在情理之中，不过孙权是个很有气度的君主，虽然潘濬有些无礼，但他并没有生气，不料作为降将的潘濬，有时玩得实在过分，比如东吴有个叫吕壹的人，他是孙权的心腹，不过为人处世太令人讨厌，东吴百官都不喜欢他，潘濬就设了鸿门宴，打算请吕壹来家里吃饭，然后直接杀了他。
吕壹提前得知消息，再也不敢登门，可潘濬不依不饶，他大半夜直接闯入孙权寝宫，也就是孙权睡觉的地方，跪在床下诉说吕壹如何如何不是东西，然后破口大骂，孙权烦不胜烦，最终真的去调查吕壹，发现这人真有问题，于是把吕壹给杀了，史称"吕壹乱政"。
"吕壹乱政"之后，孙权觉得潘濬很有骨气，敢于跟恶势力做斗争，于是他让自己的儿子孙虑取了潘濬的女儿，如此一来两人成了亲家，其实这两人的角色，跟唐朝时李世民和魏征挺像，魏征也是投降过来的，不仅憋死了李世民的鸟，还经常骂得李世民抬不起头了，这跟孙权不是一样吗？
