高纬不仅是见到美人的时候头脑不清楚，他在处理很多事情的时候都表现很昏庸。早年时继承了皇位，过程相当顺利。可是继位后的他并不操心国事，还是交给自己的父亲处理。而他呢，大部分时间用来玩乐。养了很多宠物，每天带在身边，哪有个帝王的样子。
当时的丞相，掌管着一国的大权，按说是必须要有真本事的，可是他高纬的丞相却没有什么才能，完全是凭借着拍马屁、奉承皇帝的功夫上位的。丞相都是如此，其他人也好不到哪里去。还有皇室宗亲，也同样行事荒唐。当时有一个亲贵，就把婴儿丢在地上喂狗，行为之残忍令人难以想象。可是高纬知道后，不仅没有责骂他，反而与他一起讨论野狗撕咬婴儿的细节，这件事引起了人们极大的反感。作为一个皇帝，毫无怜悯之心。
即便如此，朝廷中还是有忠臣存在的，比如斛律光。他常常劝谏，可是高纬从不放在心上。自古忠奸不能同道，这丞相当然是记恨忠臣的。他多次在皇帝面前说斛律光的恶言，时间久了，自然会有效果。更要命的是，当时斛律光掌握兵权，这让皇帝十分忌惮，就怕哪天他造了自己的反。
