众所周知，虽然在汉末三国那个乱世之中，很多诸侯都讲究唯才是举，不重出身，但是这一想法真正实施起来非常困难，好的出身和名声，才是出头的关键。可是这两样潘璋都没有--他不但出身贫寒，还是一个十足的恶霸，或者说是一个老赖，更合适一点。《三国志》中提到："（潘璋）性博荡嗜酒，居贫，好赊酤，债家至门，辄言后豪富相还。"意思是说，潘璋非常贫穷，却非常爱喝酒，所以经常赊酒喝。债主找上门来之后，他却说等我以后发达了就还。
当时孙权担任阳羡长一职，或许没见过这样的赖皮，于是觉得潘璋是个奇人，专门招募了百余人，让潘璋统领。而潘璋也的确没让孙权失望，他平定山贼有功，被升任为了别部司马。后来孙权让他维持集市秩序，他也毫无怨言，反而使当地"盗贼断绝"。后来，因为他数次平叛有功，又能够真正的为百姓除恶，于是一路升迁至武猛校尉，麾下的部曲也增长到了八百人。
而他真正扬名，并得到孙权的重用，还是在合肥之战的时候--当时张辽以八百破之十万，不但击杀了名将陈武，还吓退了同为江东十二虎臣的徐盛等人。这个时候，潘璋原本在第二梯队，但是看到前面的混乱之后，他冲了出来，斩杀了徐盛等将麾下的两个逃兵，稳定住了战局。孙权看重他的骁勇，将他拜为了偏将军，他让统领百校。在这之后，他才借部下马忠擒杀关羽的功劳，再度升迁，并在夷陵之战后，魏军伐蜀之时，立下大功。于是孙权称帝之后，他被拜为了右将军。
