于是，他跑到赵匡胤手下当起了一个大头兵。由于张琼有惊人的臂力，能拉开一张五六十斤的大弓，射中百米之外的东西，这让赵匡胤对他刮目相看，很快就提拔他做了牙将。张琼对赵匡胤的知遇之恩，也非常的感恩，所以对他忠心耿耿，每次在打仗的时候，他都会贴上保护赵匡胤。
有一次，赵匡胤率领军队跟北汉打仗，由于中了埋伏，赵匡胤身中重伤，在这万分危急的时候。张琼骑着一匹白色战马，一身银色战甲，手握一把方天戟，冲突重重包围之中，身中数箭，张琼冒死硬是活生生的把赵匡胤救了出去。对于这份恩情，赵匡胤也一直铭记于心。
可到了赵匡胤在陈桥黄袍加身之后，他对待张琼就是另一种态度了。做了皇帝之后，赵匡胤就时刻防备这武将，重用文官。当时的文官史珪和石汉卿，他们两个是小人。最要命的是，他们两人和张琼的关系很紧张，就趁着张琼不上朝的时候，他们向赵匡胤诬陷张琼，说他想造反，在他的府上有无数的金银珠宝，还甚至偷偷养了几百的死士。赵匡胤一听，那还得了，直接派人把张琼绑到他面前。张琼死不认错，赵匡胤一怒之下就处斩了他，并命人抄了他的家。
