而高纬虽然继承了皇位，但权力还是被父亲高湛牢牢掌控着，所以他只能一味的隐忍。而最令他担心的，则是他的弟弟高俨。高俨最初被封为东平王，后来又担任开府、侍中、中书监等职，在高纬继承皇位前，高俨已经做到了司徒、大将军、大司马这样的位置，而他当时才10岁左右。高湛驾崩后，高纬数次想谋害高俨，但因为胡皇后的护卫，都未能得逞。
后来胡皇后与和士开的关系公开化，朝臣纷纷上奏弹劾和士开。高纬因为害怕得罪胡皇后，选择对此事置之不理。高俨因为得罪了和士开，所以几乎被夺取了一切权力，只剩下一个中丞的虚职。当时恰好胡皇后的妹夫冯子琮与和士开不合，于是高俨便拉拢冯子琮趁和士开上朝的时候干掉了他。胡皇后很愤怒，但高俨拥兵三千，连高纬也对他无可奈何。
但此事也引起了高纬对高俨的警觉，公然诛杀大臣，且拥兵自重，这怎么看都是一个定时炸弹啊!于是高纬派人暗杀高俨。但滑头的高俨却躲进了母亲胡皇后的宫中，连吃饭都是胡皇后试过后他才吃。在这段时间内，高俨并没有进行其他的准备，而是让四个宫女怀了孕。后来高纬派出的杀手刘桃枝终于是逮到机会将高俨捉到了大明宫，并按照高纬的指示杀了他。而高俨死时年仅14岁，他的4个遗腹子全被高纬所杀。
