故而宣帝非常重视官员的作风和治绩，他继位不久就把执法公平的黄霸提拔至司法部门担任属官（古称廷尉正），黄霸的判案能力强，多次裁断一些疑难案件，而且上至达官贵人，下至平民百姓都对他心服口服，连司法部门的长官都对他赞不绝口。
黄霸因为政绩突出，不久提拔为丞相的秘书（古称丞相长史）。
公元前72年，黄霸的偶像大儒夏侯胜被捕入狱，他上书宣帝为夏侯胜辩护，可惜的是黄霸辩护不成还受到牵连与夏侯胜一同关押，这一关长达三年之久，黄霸非常坦然地面对自己的遭遇，服刑期间，黄霸向夏侯胜学习《尚书》，经过三年的专研，黄霸摇身一变成为了高级知识分子。
三年以后，宣帝下诏大赦天下，夏侯胜和黄霸被赦免出狱，宣帝还是非常赏识夏侯胜的才华，并任命他为谏大夫，后来夏侯胜向宣帝推荐黄霸，他说黄霸为人正直，品德高尚，是个难得的人才，就这样黄霸做了扬州刺史（类似于监察官)。
