开宝六年(公元973年)秋天，加任同平章事。同年冬天，秦国大长公主(北宋元符三年，公元1100年改为秦国大长公主)去世，高怀德废除驸马都尉称号。
宋太宗赵光义继位后，加任高怀德兼任侍中，后加任检校太师。
太平兴国三年(公元978年)春天，高怀德患病，宋太宗派太医王元佑、道士马志前往其府邸给他看病。
太平兴国四年(公元979年)，高怀德跟随宋太宗消灭北汉，在曹州镇守，受封冀国公。
太平兴国七年(公元982年)，高怀德改任武胜军节度使。同年七月，高怀德去世，朝廷追赠他为中书令，追封渤海郡王，谥号"武穆"。
