据《金史》记载，徒单斜也在做太原尹时，让画师绘制了一幅佛像。他声称自己见过佛祖，和画师所绘一模一样。于是他说这是佛祖显灵，应该为佛祖铸以金身。
为此，徒单斜也向他管辖的几个郡县强征黄金。但是他征索了好些年，却不见他将收集起来的黄金拿来铸佛，原来他把那些黄金全都据为己有了。
由于徒单斜也太过贪婪，被他盘剥的老百姓背地里都对他很怨恨，给他起了个外号叫"金总管"。
贪赃枉法的徒单斜也，闹得民怨四起，最终朝廷只得免除了他的官职。
所以，当徒单斜也想要迎娶完颜兀鲁为妻时，遭到了完颜兀鲁的极力反对。可是，完颜兀鲁的婚嫁并不由她说了算，最后还是被强嫁给了徒单斜也。
