赵匡胤对他十分喜爱，最后还将自己的妹妹嫁给他为妻，他也一跃成为了皇亲国戚。等到晚年时期，赵匡胤开始卸任朝中武将，高怀德先一步意识到皇帝的意图，就主动将权力归还，从而保全了自我。因此在很多人看来，他是一位拥有大智慧的武将。
根据历史记载，高怀德此人为人正直豪爽，忠厚老实，在军队中颇有美名。他的父亲曾经奉命镇守在延州，他就留守在洛阳，负责管控宋州，担任牙将。后晋开运初年，局势再次发生变化，辽朝军队大举进攻后晋边境，皇帝便立马派遣其父亲前往抵御。那年的高怀德才只是个刚满二十岁的青年，他却恳求父亲带他出征，并得到了许可。在晋国军队到达戚城时就遭到了辽朝军队的重重包围，由于后续救援部队迟迟没有赶到，导致形势十分危急。
就在这个时候，只见高怀德左右开弓，直接骑着骏马冲向敌军阵营。敌军畏惧，开始后退。高怀德立马抓住这个机会，和左右亲兵一起掩护父亲突围。也就是经此一役，高怀德之名响彻三军，朝廷也加封他为罗州刺史，还获得了数不清的金银珠宝。后来辽朝再次南侵，后晋再派其父正面御敌，高怀德则率领军队驻守在睢阳。却不料交战中晋国一大臣投降于辽，导致国家陷入绝境，好在高怀德力挽狂澜，最终打退辽军。
随着局势的变化，后晋政权在不久之后遭到覆灭，高怀德便与父亲一起依附于后周政权。凭借着出色的领导能力，他再次得到重用。他曾经负责庐州行府事务，担任招安使跟随周世宗讨伐南唐，在这场战争中，他表现极为突出，最终直接向南唐发起决战，斩首七百余人。为了奖励他，皇帝将他升任为能捷左厢都指挥使，负责兵州的事务。当时南唐一将领占据寿春，一将领占据紫金山，并利用天然山峰作为屏障来抵御后周军队。
