杨坚一直很信任高颎，但是独孤皇后却不喜欢他，甚至可以说是讨厌他的，因为高颎犯了独孤皇后的好几个大忌。隋文帝和独孤皇后虽然一直很恩爱，隋文帝也多年来只有独孤皇后一个人。但是隋文帝毕竟是个男人，尤其还是当了皇帝以后，他曾经宠幸过一个宫女，独孤皇后愤怒之下把那个宫女杀了，隋文帝很不开心，独自骑马出宫。高颎追上来，劝解道，"您为了区区一个女人，连天下都不要了吗？"于是隋文帝才再回到宫里，独孤皇后却为这句话记恨上了高颎，认为他不尊重自己。
而且，高颎还不怎么专情。高颎的妻子去世。隋文帝要他重新娶过妻子，高颎摇摇头说，"臣已经这把年纪，也不想再娶，虽然陛下垂爱很深，甚至想帮我纳妻，但这不是我的意愿。""隋文帝只好随他的意。但是没多久，高颎的小妾就生下了孩子。这让独孤皇后很是嗤之以鼻，对隋文帝说："皇上，这高颎，明明是宠爱自己的小妾，却对您说不想再娶。这不是欺君吗？以后您还可以信任他吗？"一番话在隋文帝的心里埋下了一根刺。
再加上独孤皇后属意杨广，一心想废掉太子杨勇，而高颎是支持杨勇的，二人在政治上也敌对了，因为独孤皇后一直说高颎的坏话，隋文帝对高颎猜忌也越来越深。终于还是慢慢地疏远了他，甚至后来怀疑她有谋反之意，看在他曾经的战功上，没有杀他，罢免了他的官职，将他贬为平民。
隋文帝对高颎猜忌也越来越深。终于还是慢慢地疏远了他，甚至后来怀疑他有谋反之意，看在他曾经的战功上，没有杀他，罢免了他的官职，将他贬为平民。
