可惜的是，这张琼打仗是一把好手不假，可这样的人只适合在战场上发挥作用，要是让他做官，他那暴躁的脾气，嘴上不把门的性格会给他埋下很多安全隐患。当时朝中掌握大权的是史珪、石汉卿俩人，可张琼看不起他们靠阿谀奉承得以升官的做法，时常出言讥讽。
这俩人也是朝中大臣，见张琼这样，恨得咬牙切齿，决定伺机除掉他。于是，乾德元年(公元965年)八月，石汉卿上书弹劾张琼擅乘官马，畜养部曲百余人，作威作福，又诬毁赵光义为殿前都虞候时事。
赵匡胤本来不以为意，知道他大老粗一个，不通礼法，难免得罪人，可一见奏疏中含有"畜养部曲百余人"的字样，就彻底震撼了他那敏感的神经：目下国家百废待兴，连我都崇尚节俭，他竟然敢如此放肆！
于是下令逮捕张琼，下狱彻查。可怜的张琼受遍了酷刑，就是不肯承认，随后被赵匡胤下令赐死。
在抄家的时候，宋太祖看见张琼家无余财，只有奴仆三人，非常后悔。把石汉卿骂了个狗血喷头:''你说张琼有奴仆部曲百人，在哪里呢?'' 石汉卿这时候也被骂傻了，只好支吾道："他养的一个顶一百个。"可事已至此，后悔也来不及了。
与其说张琼死在史珪和石汉卿手里，不如说他是死在竞争惨烈的官场争斗中，死在自己的不谙世事以及君主的怀疑之下。之后，赵匡胤抚恤了他的家人，因为他的儿子年纪尚幼，只好封他哥哥张进为龙捷副指挥使。
