当时汉昭帝已经去世，霍光掌控朝廷大权，他先是迎立了刘贺，仅仅二十七天后又将其废黜，改立刘询，是为汉宣帝。汉宣帝登基不久，严延年就上书弹劾霍光，说他擅自废立皇帝违反了律法，要治罪。
严延年没搞掉霍光，却因为弹劾霍光而声名大振，霍光为了面子考虑，也没搞他，一个小小的御史，不值得用他的名声来换。
严延年是穷过苦过的，即便当了官，也跟底层人民感同身受，因此他非常痛恨那些高官权贵和皇亲国戚，对治下的那些黑恶势力也极力打压，尽量为底层百姓创造一个清平的社会。
严延年打击权贵，维护了百姓们的利益，因而深受百姓爱戴，但要说他公正廉洁、执法不阿，却也不妥，严延年廉洁是廉洁，但并不公正，因为出身的缘故，他很偏坦穷人。
