后来，又因为言语不慎得罪了心胸狭隘的文帝皇后独孤氏，皇后一直怀恨在心。在太子杨勇将被废立的时候力持异议，更加剧了和皇后的矛盾，此后，皇后多次在杨坚面前中伤高颍，逐渐使杨坚疏远了高颍。而且在太子废立问题上再次得罪杨广。
再后来出征辽东，高颍不情愿的情况下，仍被文帝命为汉王杨谅的助手（实际上为主）。结果因为疾疫流行，军队十之八九病死，无功而返。独孤皇后又向皇帝进谗言说高颖阳奉阴违，消极抗命。而且这次统军主帅名义上是汉王杨谅，高颖则掌握实际指挥权。高颖为人，比较耿直，自觉责任重大，常常以大局为重，不避嫌疑。对于杨谅的意见，也多不采纳。杨谅恨透了他，返京后在皇后面前告御状说："儿万幸没有被高颖杀掉。"对于这些事情，文帝既不调查，也不分析，信以为真，对高颖更加愤愤不平。
后来高颍被免官带个齐公的虚衔回家闲居。可是事情还没有就此了结，投井下石的事总是要应运而生的。齐公国内的官员报告说："高颖的儿子对高颖说："司马懿假托有病，不上朝，结果取得了天下。你现在得到这样遭遇，怎么知道不是一件好事呢？"于是高颖就被抓了起来。又有人报告说，有个和尚对高颖说："明年皇帝要死。"有一个尼姑对高颖说："开皇十七、十八年，皇帝有大灾难，十九年无论如何过不去。"这就更不得了了。有人建议把高颖杀掉，文帝不敢这样做，怕遭到反对，乃将他除名为民。高颖胸襟豁达，虽屡遭不幸，亦处之泰然，降低为一个平民百姓，他不但不怨恨，反而感到高兴。母亲的教导，在培养他的这种品德方面，起了很重要的作用。他刚作宰相时，母亲就告诫他说："你的富贵已经到了头了，剩下的就是一个砍头，你要谨慎啊！"
隋文帝杨坚死后，隋炀帝杨广即位，曾重新启用高颍为太常卿。他对炀帝也是克尽臣道，见有不正确的地方，就直言不讳，这就很快地招致炀帝对他的更多仇恨。大业三年(公元607年)，他以诽谤朝政罪被杀。同时被杀的还有宇文弼、贺若弼。苏威被免官。
