但树欲静而风不止，北齐后主高纬是个昏庸无能的皇帝，他宠信祖珽、穆提婆等小人。而斛律光为人刚直，得罪了这些小人，因此遭到嫉恨。此时被斛律光在战场上打败的北周名将韦孝宽派人制造谣言，实施反间计，在邺城歌唱，"百升飞上天，明月照长安"，奸臣们则趁机添油加醋。
572年，高纬采纳祖珽的奸计，引诱斛律光入宫，然后趁机其杀害。当斛律光到凉风堂，刘桃枝从后面妄图扑倒斛律光，但没有得逞。58岁的斛律光顿时全都明白了，他未作抵抗，淡然说道："桃枝常作如此事，我不负国家。"之后刘桃枝用弓弦将其勒死。
北周武帝得到斛律光的死讯后，大喜过望，下令大赦天下。5年后，北齐灭亡，北周武帝进入邺城，他下诏追封斛律光为上柱国、崇国公，北周武帝指着追封的诏书说道："此人若在，朕岂能至邺！"。隋朝人卢思道曾评价斛律光的冤案，说"斛律明月属镂之锡，冤动天地"。
