斛律光经常在堂中静坐，并且会将堂前的帘子也给拉下来，他独自享受那一种天地间静谧的孤独，其他人也大多知道他的这个习惯，不会在他静坐的时候前去打扰他，甚至都不会发出太大的声音。不过祖珽有一次路过的时候，并没有看到堂前的帘子，所以直接骑着马就走过了，不仅发出了很大的声音，而且还没有给斛律光来行礼。
斛律光因此大怒，对朋友说："这个人的胆子也太大了（此人乃敢尔）"。后来斛律光在经过朝廷办公衙门的时候，听到里面有一个叫作穆提婆的官员在很高声地说话，斛律光因此而对穆提婆不满，认为这有损朝廷的威严气度。
祖珽与穆提婆也知道斛律光对自己不满，他们畏惧斛律光的威信，想要前去道歉，穆提婆还因此而专门买通了斛律光的仆人，在斛律光心情比较好的时候，登门去提亲，请求斛律光将地位相对低下的庶出女儿嫁给自己为正妻，这是一个很低声下气的举动，不过却引起了斛律光的不满，他被赶了出去。
