斛律光17岁就得到了高欢的赏识，做了年轻的都督，之后一路升职，到高洋建立北齐，他更是北齐国家内外稳定的肱股之臣，当时邙山大战他先是率领2万骑兵修了勋掌城，之后又造了200多里的长城，后又直接击败了北周，讨伐了突厥，是真正的常胜将军。
可是他性格耿直，最看不惯的就是那些小人，一般来说有的人看不惯也不会说，但是他偏不，他一遇到就要上前指责别人，尤其他指责最多的人就是丞相祖珽，还让高纬不要和祖珽这种小人来往，祖珽听到后哪里会开心，高纬也不愿意别人指手画脚，所以两人都不喜欢他。
说是祖珽挑拨，但其实高纬自己也心里有鬼，尤其是当时北周韦孝宽为了灭掉这个斛律光这个心腹大患，当时又没有办法在战场上得手，于是就想到了挑拨君臣关系的损招，在邺城放出儿歌唱："高山不推自崩，槲树不扶自竖"，导致高纬疑心病越来越重。
