随后，赵匡胤又领兵攻打淮南重镇寿春。在交战前夕，赵匡胤亲自乘坐小艇进入护城河探查敌情，不幸被城上的敌军发现。因为距离比较远，敌军便动用了威力巨大的车弩，向赵匡胤放箭。危急时刻，"琼亟以身蔽太祖"，张琼用自己的身体掩护赵匡胤撤退，结果张琼中箭，昏死过去。事后，张琼死而复苏，大腿上中了一箭，箭镞已经深入了髀骨，"坚不可拔"，根本无法拔出。张琼连饮了数杯酒，然后"破骨出之，血流数升，神色自若"，颇有当年关公刮骨疗毒的气魄，让众人既惊讶又佩服。这是张琼第二次救了赵匡胤。
960年，赵匡胤发动陈桥兵变，建立北宋，登基做了皇帝。对于这位救命恩人，赵匡胤将其视为心腹、一路提携。张琼在北宋时期先后担任马步军都军头、领爱州刺史、殿前都虞候、嘉州防御使等职，并且掌管了一部分禁军兵权。赵匡胤曾说："殿前卫士如狼虎者不啻万人，非琼不能统制"，可见对张琼的信任。
可张琼毕竟是一个有勇无谋的粗人，"性暴无机，多所凌轹"，性情暴烈，没有心机城府，还时常欺负朝中大臣。当时，石汉卿、史珪两人常向赵匡胤打小报告，因此很受赵匡胤的宠信。张琼却很鄙视他们两人，认为他们是蛊惑皇帝的小人，讽刺他们是"巫媪"。"二人衔之切齿"，对张琼恨之入骨，于是向赵匡胤诬告张琼，罗织了许多罪名，"擅乘官马，纳李筠隶仆，畜部曲百余人，恣作威福，禁军皆惧"，说张琼作威作福，偷偷畜养了上百个部下，打算图谋不轨。赵匡胤一听勃然大怒，猜疑之心顿起。
当年（965年）秋，借着举行祭祀的机会，赵匡胤将镇守在外的张琼召回京城，亲自审讯。张琼什么也没干，加之他性格耿直，自然不愿意认罪。赵匡胤更加愤怒，"令击之"，让石汉卿用铁杖击打张琼，张琼依然不肯认罪，被打得奄奄一息，"气垂绝"。赵匡胤还不肯罢休，让人把张琼拖出去，交给御史继续审讯。
