后来他为了提高对敌人的震慑能力和自己部队的战斗力，他就专门打造了一个青面獠牙的铜面具，戴在脸上，同时披头散发，就像鬼怪出没，让敌人远远看见就魂飞魄散和非常胆寒，所以不到五年，他大小经历了近30个回合，都屡立了战功，从一名九品的小武官升到国防部副部长，后来他去广西镇压叛乱，然后就因为战功被任命为枢密使。
而且在宋朝时非常重文轻武的，这个他不是没有感觉，所以说在他任职的这四年之间，不断的去低调做人，勤恳做事，但是仍然没有逃脱出朝廷那帮人对他的猜忌和打压，更挡不住的背后一张张小人的嘴和各种稀奇古怪的传闻，比如说有人说他的狗都长得像麒麟，这简直是狗血喷头，无稽之谈，但是有人还说他家里怪光冲天，就好像要造反一样。
除了这些装神弄鬼的诽谤，还有负面声音是说他在朝廷任职是祸害国家，希望朝廷能够及时将他逐到外面去，还有甚者在宋仁宗面前不断地煽风点火说他是大将，但是掌握军权有不臣之心，而且都说他不想赶紧走人，他愤愤不平地说我没有犯错，为什么要被降到地方任职，那帮人直接懒得跟他解释，就说朝廷容不下你没有理由可以多说，毕竟宋朝最喜欢用莫须有的罪名。
