到开皇末年，高颎开始失。文帝皇后独孤氏虽不失为女中豪杰，然而她特别妒忌，不准皇帝接触后宫的妃。谁知杨坚偏偏喜欢上了一位宫女，独孤氏对此气愤极了，乘文帝上朝将那位宫女杀死。文帝得知大发雷霆，高颎劝道:“皇上您怎么能够因为一个妇人而轻易地丢开天下呢!”不料，这句话却埋下了祸根。高短本是独孤氏的家客，独孤氏与他一直来往密切，可是自从他说独孤氏是，“一个妇女”之后，她就怀恨在心，不与他来往了。
高颎与太子杨勇是儿女亲家，杨勇由于喜好侈华、亲近女色而渐失父母宠爱是文帝与皇后都渐渐产生了废立太子的意向。杨坚在向高征求意见时，高以“长幼有序”相劝，杨坚则认为高颖是为谋己利，有意袒护亲家。又有一次，隋文帝要挑选东宫的卫士作自己的卫土，高颎以为不应这么做，文帝的不满立刻溢于言表。高的夫人去世后，文帝夫妇打算帮他再娶一位。谁知高颎却婉言谢绝说我现在已老，退朝以后，只是坐在书斋里读读佛经罢了。
开皇十八年(597年)，文帝欲出讨辽东，高颎坚决不同意，但文帝坚持己见并派高颎任事实上的主帅，高颎只好服从。结果因为疾疫流行，军队人马十之八九病死，无功而返。这件事本来没有什么好挑剔的，可是独孤皇后却节外生枝，在文帝面前中伤高颍，说什么“高颎根本就不愿意去，你强迫他去了，我就知道准是无功而还”。这次统军主帅名义上是汉王杨谅，高颎则掌握实际指挥权。高为人直，自觉责任重大，常常以大局为重不避嫌疑，对于杨谅的意见也多不采纳。恨透了他，返京后在皇后面前告状说:“儿万幸没有被高颎杀掉。”对于这些事情，文帝既不调查，也不分析，便信以为真，对高颎更加愤愤不平。
不久，高颎被免为平民。高颎胸襟豁达，虽屡遭不幸，亦处之泰然，降为平后不但不怨恨，反而感到高兴。此后没有几年文帝驾崩，炀帝即位。炀帝启用高为太常卿。高颎对炀帝也是克尽臣道，看见有不正确的地方，就直言不讳。这很快就招致炀帝对他的仇恨。大业三年(07年)，高颎以诽谤朝政罪被杀。
