此外，功高震主这个道理谁都懂，高怀德历经数朝，他的家中又是显赫的将门，其在军营中的影响力可想而知，万一哪一天高怀德起兵谋反，赵匡胤势必会损失惨重。别说他是自己妹夫了，就算是自己的亲兄弟也要提防点，俗话说得好，防人之心不可无啊，而身为天子的赵匡胤必须要事事都考虑周到，因为只有这样才能让国家安稳地发展。
所以说，高怀德被解除了兵权也是在情理之中。后来开宝六年秋，高怀德被加封同平章事。同年冬天，赵匡胤的妹妹秦国大长公主去世，他又被废除了附马都尉的称号。
在宋太宗即位后，高怀德又被加封为检校太师，太平兴国三年，高怀德患了病，赵光义还派太医王元佑、道士马志为他看病，可见他在皇上心中还是有一定的分量。太平兴国七年时，高怀德去世，朝廷又追赠他为中书令，还追封他为渤海郡王，以示朝廷对老臣的优待。
