民间口口相传的清官，综合了能吏（勤政能干的好官）、循吏（奉公守法的好官）、廉吏（清正廉洁的好官）诸多角色。论为官者的品质，史学家班固评“自汉兴，言治民吏，以霸为首”，称赞他“以外宽内明得吏民心，户口岁增，治为天下第一”。汉宣帝也赞扬他是“贤人君子”、“国家栋梁”。黄霸一生持政宽和，施行德教，奉职守法，以廉为本，体察民情，他的事迹至今仍为百姓所传颂。
汉朝时入仕的途径，主要是察举和征召，这是针对名世者。无名之士要做官只有才与财两途：一是上书求官，如朱买臣、东方朔等，上书以售己才；二是纳赀，捐献钱财给国家以获得官职，说白了就是买官。汉武帝后期穷兵黩武，国库空虚，大肆卖官鬻爵，黄霸出身豪强，颇富资财，且“少学律令，喜为吏”，于是也花钱捐官步入仕途。买官，在黄霸为不得已，在世人看来也不高尚。起初，上司就因他走的是“财路”，看不起他，只把一些既琐碎又容易担责的工作给他干，但黄霸兢兢业业，很快赢得了廉洁称职的好名声。后来，汉宣帝任黄霸为颍川太守，这个官他做了两任前后八年，正是在颍川任上，黄霸成就了清官名声。
汉武帝统治末年，国库逐渐枯竭，为了维持朝廷的运转，遂加重了老百姓的徭役赋税，人民负担繁重，苦不堪言，社会动荡不安。为了维护社会稳定，汉武帝就任用酷吏，加重刑罚来惩治“犯法”者。到了汉武帝的继任者汉昭帝统治时期，大臣们钩心斗角日益加剧，各级官员用法愈来愈严，越来越重，老百姓一不小心，就会触法犯禁，遭受惩罚。当时各级官吏都把用法严酷当作能干的表现。然而黄霸不为官场流俗所动，关心百姓疾苦，体谅百姓的难处，以用法宽和而知名于当世。汉宣帝即位后，因为他自己曾经在民间生活过一段时间，深知民间疾苦，知道老百姓对酷吏深恶痛绝，于是逐步调整以前的统治政策。颍川郡原是秦代设置的郡，管辖20个县，地域辽阔，人口众多，也属一个富庶之地。当时有好几个县的居民聚集围攻县府，情况紧急，郡太守逃往京城向汉宣帝求救，要求派武将镇压“刁民”。丞相向汉宣帝推荐黄霸去平叛，且不用一兵一卒。汉宣帝知道黄霸清廉刚正，但没听说过他会平叛。于是丞相呈上黄霸一份奏章，说百姓造反非“刁民”刁钻难治，而是官吏无能理法不顺；官吏若教化为先，事先把法令告诉百姓，为官者作出表率，身体力行，“刁民”绝对不会造反。汉宣帝认为有理，于是委任黄霸为颍川太守。
黄霸不坐轿，不骑马，不鸣锣开道，而是骑着骡子仅带一个管家微服去上任。进入颍川地界，一路上看到逃荒要饭的百姓一拨又一拨，他就和这些百姓聊起来，问他们为何要背井离乡？逃荒者告诉他，因为他们的土地被豪强恶霸掠夺去了，无田可种，不逃荒就得饿死。黄霸说，为何不去县衙告状？逃荒者哭诉：进衙门告状，未开口先挨打，谁还敢去啊！黄霸明白了，便劝他们回颍川，新任太守会替他们申冤做主。当然，逃荒者不相信一个过路人的话，继续往邻县逃奔。在路上，也有让黄霸心动眼亮的地方。到了岭武村，满山树木葱郁青翠，牛羊在田间山边吃草，家家炊烟冉冉，一派农村清平乐园景象。他在岭武村歇脚喝茶时得知原来这里不属颍川郡管辖。黄霸登山远眺：同一块土地上，竟有不同村庄，一边逃荒要饭，满目凄凉；一边安居乐业，牛欢马叫。强烈的对比使他明白，不是颍川“刁民”难弄，而是豪强恶霸作祟。于是他向汉宣帝写了一份奏章，火速发往京城，恳请皇上恩准在颍川开仓放粮，把颍川郡几万流民安置好，这样皇上的新政新法令就能在颍川实行，颍川的“刁民”也就治理好了。汉宣帝答应了这个合情合理的要求。所以，黄霸到颍川第一件事就是出安民告示，教化百姓，学习法令，并还派人到邻县和官道上贴告示，呼吁流民回乡，凡回家开荒种田者发放粮食，发放种子，免税免劳役。为了赢得百姓的信任，他带头脱掉官服官靴，下地拉犁耕地。他的做法一传十，十传百，百传千，外出逃荒的流民纷纷回来了。为了让流亡的农民安心，不再外逃，他责令各县县令安置逃荒者，违者重罚革职，他还亲自到各县暗访，检查督促。黄霸说：“流亡农民不想造反，也不想背井离乡去逃荒，各县应该明白，这些逃荒流亡农民既是劳动力，又是社会不稳定的因素，把这些流亡农民安置好了，也是你们尽心尽职的政绩了。”
黄霸到颍川上任，不光安抚平民百姓，还着力对贪官进行教化，让他们心服口服。汉宣帝继位以来，常常发布恩泽诏书，减免百姓的赋税徭役，鼓励发展生产，使民得以休养生息。但是，很多地方官吏都把皇帝的诏书当成官样文章，很少向下颁布，致使很多百姓都不知道诏书的内容。黄霸把颍川郡各县令都叫来，让他们一个个背诵汉宣帝的新政新法令，会背诵的就放走，不会背诵的留下来读。他说连皇上的新政新令都不懂，如何去治理百姓。有一个县令读“六条问事”时，读得浑身发抖跪在地上，磕头如捣蒜地说：“大人，我认罪，我错了，我以六条问事，请大人赏我一个全尸。”因为他的所作所为与“六条问事”条条沾上了边，如按法惩办，必死无疑。所谓“六条问事”是考察地方官员的标准，内容包括不许“背公向私”、“侵渔百姓”等。黄霸到任后将“六条问事”法令在大街小巷到处张贴，让官吏自觉遵守，并大张旗鼓地宣传，老百姓个个知道了，人人感恩皇上。黄霸认为考察的重点应在防患于未然，而不是事发后的追究与处理，所以郡守官员和二十多个县令个个心悦诚服。黄霸还命令各级乡官养猪养鸡，用来赡养孤独的老人和救济贫民。他到任后之所以先不触动和打击豪强地主，不是他不想打击，而是他认为打击这些人的时机尚未成熟。在他看来，最重要的事是重视农桑，发展生产，丰衣足食，使农民上足以赡养父母，下足以抚养儿女，好年成可以丰衣足食，坏年成也不至于饿死。流亡百姓见有了出路，便纷纷返乡耕种。经济上打下了一定基础后，他开始打击豪强地主、恶霸、地痞。凡证据确凿，便狠狠地打击，让他们补足拖欠国家的税款，返还强占百姓的土地、粮食、牲畜、房屋。当然，黄霸也不忘教化他们，给他们出路，让其全家老少开荒种田，自食其力。黄霸把汉宣帝的休养生息政策逐一贯彻，使百姓安居乐业。五年之后，颍川夜不闭户，路不拾遗，成了繁华富饶之地，“户口岁增，治为天下第一”。汉宣帝非常高兴，下诏调黄霸出任京兆尹，并赏赐他100斤黄金。他却把100斤黄金捐献给颍川郡修理河道，自己分文不留。
这时，发生了一宗著名的“汉武帝庙乐案”。汉宣帝是汉武帝的曾孙，不是汉昭帝嫡血，曾经一度沦为平民，由于霍光集团势力庞大，威胁到皇权，因此时刻有被罢黜的危险。汉宣帝为消除隐患，要朝臣重议庙乐，颂扬汉武帝的功德，为汉武帝追加尊号，抑制霍氏集团。朝中大臣立即附和，纷纷称颂汉宣帝也是英明贤君，是汉武帝的真传，兴武拓疆，继统大业。当然这正是汉宣帝所希望听到的。此时为人耿直的长信少尉夏侯胜却提出了异议，他希望汉宣帝不要将精力放在重议庙乐一事上，说现在不是颂扬汉武帝的文韬武略、开疆拓土的时候，首要的是考虑如何安定社会、振兴百业的问题。黄霸是满朝文武中唯一支持夏侯胜观点的人，他拒绝在众臣弹劾夏侯胜的联名书上签字，更挺身而出劝说汉宣帝撤销重议庙乐。汉宣帝勃然大怒，把两人打入天牢。夏侯胜是西汉有名的经学大师，著有《尚书》，是“大夏侯学”的开创者。身陷囹圄的黄霸不仅没有意志消沉，反而趁此机会向夏侯胜学治国之道。黄霸虚心向夏侯胜学习儒家经典，日复一日，坚持不懈。两人在监狱里并不觉得冷清，读书写字，乐得逍遥。直到三年之后，中原地区遇到大地震，汉宣帝为祈求太平大赦天下，他们才出狱。
黄霸为官的时期，正值统治集团内部争权夺利的分裂时期，朝廷分成两大派，不少朝臣纷纷往两边送礼行贿，以确保自己头上乌纱帽不丢。黄霸生性耿直，对两派皇权争斗，一概不闻不问。他担任廷尉正掌管刑法时，一如既往奉公守法，不贪私利，对贪赃者严厉惩处，使那些隐藏较深的贪利者不得不有所收敛。黄霸断案也竭力主张用儒家的德治，崇尚仁政，反对酷刑，先行教化，后用刑罚。他认为断案必须依据法律条规，必须有证据，不能以个人主观臆断及好恶办案。同时他还坚持从轻处理疑案的原则，对无证据或证据不足或暂无法取证的就从轻发落，释放回家，以观后效，对那些年老有病非十恶不赦者也从轻处理。结果救了很多人的命，监狱不再人满为患，到衙门来告状喊冤的人也减少了。民间赞扬黄霸持法平和。
“均输”是汉朝的一项特殊经济政策，就是由国家统一征购、转销、调运货物。黄霸任均输长时，手里过钱无数，依然很廉洁，且一改前任做法，先张贴告示，公布市价，教化商人，不准哄抬物价、囤积居奇；下令杜绝送礼，杜绝请客吃饭；按照公平、公正、公开原则做买卖，尽快充实国库，弥补前任的亏空；按照正规渠道、法令、印章解送银两进京。
黄霸清正廉洁，尽忠职守，一心为国，不计个人私利，在举国官吏以严刑重法为风尚的大气候下，不随波逐流，用法宽和，为老百姓营造了一个安定和谐的社会环境；他关爱体恤下属，以身作则，树立起外宽内明、恪尽职守的良好政风，从而赢得“自汉兴，言治民吏，以霸为首”的美誉。虽世异时移，但黄霸的所作所为仍对我们有很多启示，值得后世借鉴。