北周将军韦孝宽曾多次败于斛律光手中，因此对他多有愤恨，最先开始离间北齐君臣。韦孝宽派遣间谍，带着自己编造的童谣，去往北齐都城各处宣扬。在韦孝宽编造的童谣中，有这样一句话：
"百升飞上天，明月照长安。"
斛律光，字明月，这首童谣中的"明月"，就是指的斛律光。随着童谣越传越广，渐渐传到了北齐奸臣穆提婆的耳朵里，穆提婆同斛律光素有私怨。穆提婆找到同党祖珽，去到皇帝高纬那里，开始编排斛律光。
他们对高纬说："斛律光部下兵多将广，在北齐军中说一不二，一旦有谋反之心，将会祸及社稷。"高纬比自己的祖辈更加昏庸，对于奸臣穆提婆和祖珽深信不疑，也开始怀疑斛律光。
