他曾经出国留学，去学习国外先进的军事知识。他非常聪明，又果敢大胆，所以在起义爆发之后，他以山西为自己的基础，一直在这里带领自己的军队。在他的管理下，山西一直很安定，百姓的生活相对来说比较稳定。而且他家庭工作两不误，又家庭照顾的非常好。孤皇后看到高颎对妻子这么深情，也非常感动，就安慰高颎，说一些人死不能复生，请节哀顺变之类的话。高颎伤心的说"瑟弦骤断，唯斋居诵经而已"，意思是说，爱妻死了，我只能吃斋念佛，了断红尘了。独孤皇后听到以后非常感动，觉得高颎是天下难得的有情郎。
高颎对亡妻确实也很深情，他没有再娶妻，但是他本来就有一个小妾，妻子去世没多久，小妾就怀孕了。独孤皇后听说高颎的小妾怀孕了，心里很不爽，因为独孤皇后是个坚定的一夫一妻制推行者，他不准杨坚有其他嫔妃，有一次杨坚临幸了一名宫女，独孤皇后知道后就杀了那个宫女。独孤皇后既不许皇帝娶其他嫔妃，也反对大臣纳妾，他为此对高颎有意见。独孤皇后因为太子杨勇有很多妃子，想废了他的太子位，改立杨广为太子，高颎反对废杨勇，这件事又得罪了独孤皇后，对高颎更加有怨气，就想除掉高颎。
几个月后，独孤皇后听说高颎娶了一个年轻貌美的小妾，而且小妾已经身怀六甲。起初，独孤皇后压根就不相信，认为高颎那么痴情，肯定不会做这种事，直到高颎的小妾生下儿子，皇后才知道这件事是真的。于是，她就将此事告诉隋文帝，隋文帝把高颎叫来，怒斥道："你表里不一，辜负了朕对你的信任，你去回家养老吧。"高颎因为娶了小妾，就被削除官职，实在是憋屈。
