赵匡胤对他的忠义感动不已，黄袍加身之后，没忘了这个忠心不二的部下，把护卫京师和皇宫的最重要的一支武装力量，也就是禁军交给他统领。然而不幸的是，这一对君臣之间的生死之交，最终却以悲剧告终，张琼成了赵匡胤杀掉的第一个功臣。
张琼曾经擅自将皇帝的马骑出宫，又收拢反贼李筠的仆从，私下养了百多死士，俨然就是要谋反；二人深知赵匡胤兄弟情深，又说张琼曾污蔑赵光义如何如何，赵匡胤立即下令将张琼抓起来审讯。
张琼不肯认罪，赵匡胤大怒下令用刑。石汉卿趁机拿铁挝(铁爪)乱打，接过张琼当场被打得半死。张琼被拖下去之后，自知已经被怀疑，必死无疑，于是主动自杀，以表心志。人一死，宋太祖怒气就消解了。他这时候再派人打听，得知张琼根本就没有蓄养死士，家里只有三个仆人。
赵匡胤以"杯酒释兵权"，收回了以石守信为代表的禁军高级将领们的兵权，随后把禁军交到了张琼的手上，刚开始，赵匡胤对张琼是十分信任的。但是"木秀于林风必摧之"，张琼此人为人刚烈，缺少心机，打仗是一把好手，却不善为官谋身之道。
