高归彦立下大功，被高洋看重，长期担任禁军主管，并遗诏委任高归彦为辅政大臣。但在高洋去世之后，高归彦却协助高演剿灭了高洋一系。
平秦王归彦初与杨、燕同心，既而中变，尽以疏忌之迹告二王。平秦王归彦恐济南王复立，为己不利，劝帝除之。--《资治通鉴》·陈纪二
通过上述两件事，我们可以得出一个结论：高洋一直重用高归彦，可高归彦还是高洋去世之后当了反骨仔，可见这个人的人品是有问题的。再联想到，高归彦帮助高洋逼死了养父高岳，真是因为高岳对高归彦不好吗？难说。
由于高归彦是这样一个反复无常的小人，又在中央政府又拥有举足轻重的地位，所以高湛决定把他调离中央政府。
世祖即位，侍中、开府仪同三司高元海、御史中丞毕义云、黄门郎高乾和数言其短，且云："归彦威权震主，必为祸乱。"帝亦寻其反覆之迹，渐忌之。伺归彦还家，召魏收于帝前作诏草，除归彦冀州，使乾和缮写。--《资治通鉴》·陈纪二
