到了咸丰帝时期，他甚至被任命为文渊阁大学士，这个位置是多少人不敢奢求的。然而高处不胜寒，他的位置越高，越得到皇帝的信赖，得罪的人也越多。而很快，他就在一次科举试中犯了错。
清朝规定，满洲子弟不能当"戏子"，也就是说不能登台表演。没想到一个叫平龄的满洲子弟偏偏成了一个出名的戏子，还在乡试中得了第七名。这事情很快传到了咸丰帝耳朵里，于是命顾命大臣载垣和端华等人彻查。案情查的越深，牵扯的人越多的，还查出了一些科举舞弊行贿之事。
作为主考官的柏葰虽然并没有行贿，但难逃其咎，于是并关进了监狱。此时柏葰并不以为意，觉得自己虽然犯错的，但罪不至死，可惜他不知道他早就得罪了载垣和端华等人。他们极力劝谏咸丰帝处死柏葰，咸丰帝即使无心杀柏葰，最后还是同意这个方案。
