可是后来因为他的兄弟犯罪，而他也受到了牵连被免职回乡，之后的黄霸还不死心，继续向朝廷捐粮，又获得了一个左冯翊二百石卒史的小官。因为是花钱得来的官，到任之后很多官员都看不起他，但是黄霸没有理会这些，而是兢兢业业的做着自己的事情，后来因为他秉公执法得到了上级的认可，被任命为河南太守丞。
到任后的黄霸宽仁治民政绩突出，汉宣帝继位后得知黄霸为官清正，便将他升任为廷尉执掌司法刑狱。后来在朝中大臣的举荐之下，他又被升任为扬州刺史，在任8年的他政绩同样非常突出，期间扬州的人口、耕地、粮食产量都得到很大的提升，而他也深得民望。
汉献帝为褒奖他封他为关内侯，并加任太傅兼御史大夫，后来77岁的黄霸又升任为丞相，可惜因为年纪过大，在任职五年之后便去世了。因为对汉朝做出的贡献，后世对他做出很高的评价，更把他当做是清官的楷模。
