而当时继位的皇帝年纪还很小，不过是七岁而已。过了不久时间，老皇帝去世了。后来权利慢慢的掌握在杨坚的手里，杨坚因此做了皇帝。至此，隋朝也就建立了，在他做宰相时信任的人高颎也得到了重用。
他被封为左卫大将军然后协助杨广去攻打当时陈后主管理下的陈国，最终灭掉陈国。他为因此加官进爵，几乎相当于宰相了。这也就实现了当初对他大富大贵的预言，然而这个世上总是有一些人看不惯别人的成功的。
当时有人向皇帝告密，说他是对皇帝有二心，没有想到皇帝对他非常信任，直接把那个人给杀了。高颎知道之后非常感动，而他的妻子在这个时候去世了，皇帝本来打算亲自去慰问的，但是奈何没有时间。
于是派皇后去看他，他非常伤心，甚至表示自己要为妻子守身如玉。看到这种情形，皇后都为他这种做法深深的感动了。然而过了没有多久，高颎居然重新纳了一个小妾，并且这个女子身怀六甲。
皇后看过他伤心难过的模样，听到这个消息之后不敢相信。于是便派人去调查，发现果然有此事，所以便将这些事情原原本本告诉了皇上。皇上很生气，认为他是个表里不一的人，所以便罢免了他的官职。一位宰相只因为一个小妾失去了前途。
