当时最红的就属大将军霍光了，霍光可以说是权倾朝野，没有人敢说他，就连皇帝都要避退三分，在元平元年，大将军霍光废黜昌邑王刘贺，拥立汉宣帝刘询为帝。汉宣帝刚即位，严延年上奏弹劾霍光"擅自废立皇帝，没有臣下的礼规，不仁道。"奏章虽然搁置在一边，但朝廷内对严延年却敬而远之。而严延年也因为弹劾霍光而声名大振。
经此一役，皇帝又给了他很大的权力，只要是涉及到难以处理的案子，他自己就可以直接定夺和处理。从此，严延年性格深处的东西，就在自己的职业生涯中暴露无遗。
因自己是穷人，所以在严延年心中，穷人都是好人，如果是富人，那肯定就有问题。如此一来，在他手握大权的时候，穷人犯法，他凭借自己的能力为其开脱罪责，而富人，那对不起，他会不惜一切代价为他定罪。
