但是高纬对于这位大臣却十分不喜欢，再加上奸臣祖珽的不断挑拨，导致高纬的怀疑彻底爆发了。但是斛律光是一位非常自律的大臣，手握兵权却从未有过越界的举动，不论是朝上还是朝下，表现都是无可挑剔的。这样的大臣就算高纬想杀，也是找不到理由的。
可是祖珽却告诉高纬，只要以赏赐斛律光宝马的名义把他召进宫中，然后再以谋反罪的名义杀了他就可以了。这样荒唐的理由，任谁都是无法相信的，可是高纬却认为能够行得通。就这样他把斛律光单独地召进了宫里，在斛律光谢恩的时候，宫殿里早已埋伏好的士兵接到了命令，杀害了这位忠臣。
斛律光死后高纬很高兴，同时北周听到了这个消息也很高兴。因为他们最惧怕的一位大臣被杀害了，没过多久北周就出兵攻打北齐，在短时间内直接灭掉了北齐，高纬最终也是自食恶果。
