公元588年（开皇八年），杨坚在寿春（今安徽寿县）设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事，集中水陆军51.8万，分为8路攻陈。高颎时任晋王杨广元帅长史，三军参谋，都由高颎决断，随后平定南陈，高颎杀掉张丽华得罪晋王杨广。
等到大军还京后，因功加授高颎为上柱国，晋爵位为齐国公，赏布匹九千段，定食邑为千乘县的一千五百户。齐国公也是高颎最后的爵位，此后他的官职也多有变动，但是始终在中枢，一直深得杨坚的重用，但是因为在废太子杨勇的事情上让隋文帝不喜，慢慢的失宠，直到后来，杨坚下令于是除掉高颎的官籍，让他作平民。
杨广登基之后为了显示自己的仁德，拜授高颎为太常。当时下诏收集北周、北齐的乐工和天下的散乐。高颎上奏说："此乐久废，今若征之，恐怕无识之徒舍本逐末，转相教习。"杨广不高兴。杨广那时十分奢侈靡费，声色更加讲究，又发起修筑长城的劳役。高颎十分担忧，对太常丞李懿说："周朝因好乐而灭亡，殷鉴不远，怎能又这样呢？"当时杨广对启民可汗恩宠和礼遇太过分，高颎对太府卿何稠说："这个胡人颇知中原虚实、山川险易，恐怕他成为后世的祸患。"他又对观王杨雄说："近来朝廷一点纲纪都没有。"公元607年（大业三年）七月，有人告状，杨广下诏以"诽谤朝政"的罪名将高颎、贺若弼，宇文弼等杀死，诸子都迁徙到边疆。至此掌握隋朝大权多年的高颎离开了历史的舞台。
