接着御史中丞孔道辅也向皇帝禀报，说"德用得士心，不宜久典机密"。与此同时，王德用在枢密院的工作，也遭到欧阳修等文官的排挤。在这种情况下，幸亏当时的皇帝是宋仁宗，他只是罢免了王德用枢密使的职务，把他安排到地方上担任闲散职务。根据王德用后来的上书，可以看出当时是有人主张处死他的。
王德用为了自保，离京前把自己的宅子捐了，到任后闭门不出，"谢宾客，虽郡官不与接，在家亦不与家人语，如是逾年"，装聋作哑才避免文官的弹劾，得以保住性命。后来北宋败给西夏，连辽国也跃跃欲试，宋仁宗无奈之下，只得重新启用王德用。
但王德用深知官场险恶，几次主动上书要求致仕，宋仁宗最终同意。但毕竟王德用的威名仍在，"名闻四夷，闾阎妇女小儿，皆呼德用曰黑王相公"。一次辽国使者入见，看见了王德用，对翻译说："黑王相公乃复起耶？"宋仁宗闻讯后，立马重新任命王的官职。
嘉祐二年，王德用病死，时年七十九岁。虽然王德用高寿，官职也很高，但一生中不得重用，反而因为自己的相貌问题，差点丧命。不过王德用比狄青聪明，知道进退，得以善终。其实王德用是个悲剧人物，后人评论道："如宋用王德用，足以褫四夷之魂魄，而非时之猾诈避事之徒也。"
参考资料：1.《宋史》；2.《忠武军节度使同中书门下平章事武恭王公神道碑铭》；3.《续资治通鉴长编》；4.《宋论》；5.《皇明经世文编》
