潘美形象的第一次转变，来自北宋大文豪苏辙的一首诗。苏辙在《过杨无敌庙》中写道："行祠寂寞寄关门，野草犹知碧血痕。一败可怜非战罪，太刚嗟独畏人言。驰驱本为中原役，尝享能令异域尊。我欲比君周子隐，诛肜聊足慰忠魂。"这首诗写出了杨业的忠勇报国，但最后两句用晋代周处的典故，将杨业之死的责任归于潘美身上，苏辙是个影响力很大的文人，他的这首七律将潘美推上了风口浪尖，使潘美的形象开始发生转变，并影响到了后世文人的创作。
杨业
民间潘美的奸臣形象主要来自元代杂剧《杨家将》。这出杂剧借杨业与杨七郎之口说道："只恨那潘仁美这个奸贼，逼的俺父子并丧番地"，还把杜撰出来的人物杨七郎，说成是向潘美求救时，被潘美灌醉后绑在树上乱箭射死。剧中的八王赵德芳将潘美与杨家结仇的原因解释为潘美在征后汉时，被杨业射了一箭，所以杨业降宋朝后，潘美常记一箭之仇，一心想要谋害杨家父子。但是这出杂剧中，还没有出现杨七郎打擂，打死潘美儿子，两家结仇的剧情。
有苏辙的诗在先，又有元代杂剧在后，潘美的形象也逐渐被刻画成一个十恶不赦的奸臣。在民间文学的传播过程中，潘美的演义形象被横向渗透到正史领域，从功臣转化成罪臣。
