黄金荣十四岁时，父亲因病去世，留下母亲虞老太太和姐弟两人，依靠母亲给人洗衣服勉强维持生活。但是，一个人工作，全家人还是吃不饱，于是，母亲就把他送到孟姜堂内做些杂活，在堂内做些扫地、挑水、洗洗菜等零碎活儿，混口饭吃，过着像小和尚那样的打杂生活，因此当时的人就叫他小和尚。后来由于上海流行一种传染病，黄金荣也被感染，虽然侥幸地活了下来，脸上却生出麻皮，又被人们称作“麻皮金荣”。
黄金荣在孟姜堂做杂活时，仍然是过着半饥半饱的生活。三年后，即1884年，十七岁的黄金荣到其姐夫黄全浦开的裱画店当学徒，要从打杂做起，包括带孩子做饭。这家裱画店开设在豫园路环龙桥下，名叫萃华堂裱画店。黄金荣做学徒期间很认真，每月拿月规钱400文。在此期间，黄金荣结识了一个对他今后命运产生了重大影响的人物——来自苏州的，也就是后来成为杜月笙老头子的青帮“通”字辈陈世昌。黄金荣跟着陈世昌混，很快学会了各种作弊手法，比如在骰子里灌铅，打麻将“轧板”等。不久，陈世昌特地从三流妓院找来一个年轻妓女陪黄金荣，黄金荣从此开始接触了女人。
做了三年学徒，出师后，师傅又留他站了两年柜台，他虽然能任劳任怨，但是收入也不多，每月仅40个铜板，莫说给母亲贴补家用，就连黄金荣本人的开销也断乎不够，生活仍然清苦，谈不上供养母亲，母亲仍靠洗衣服维持生活。不过，虽然他不肯吃苦，也还是学到了一些裱画技术，尤其懂得了一些以假充真、偷梁换柱的技巧。
黄金荣在裱画店干了五年就不干了，从此在法租界和一群地痞流氓鬼混，成为上海滩的一个小混混。
1890年，黄金荣二十二岁时，法租界为了加强租界内的治安，法国驻沪总领事白早脱和公董局总董白尔研究决定招募120名华人巡捕。租界，是西方帝国主义列强侵略中国的产物。1849年，法国在上海开辟租界，随着地盘的扩大、人口的剧增与工厂设施的增加，原有的保卫力量已远远不能满足需要，租界当局遂决定再招收一批华捕。这时的黄金荣正穷困潦倒，走投无路，便决定去碰碰运气。
黄金荣曾当过裱画匠，后又在上海县衙门里做过一阵子捕快，他来到设在公馆马路法租界总巡捕房报名应试，也许是他那强壮的身体占了便宜，他居然被录用了。其实，黄金荣一个邻居陶婆婆的儿子起了大作用，那人刚从上海中法学堂毕业，进入法租界巡捕房充当翻译，陶婆婆就叫她儿子在巡捕房内打了招呼，因此才金榜题名。
进了巡捕房后，黄金荣就跟在法国巡捕的屁股后面，挨家挨户去征收“地皮捐”、“房屋捐”，从此黄金荣成为法租界捕房的三等华捕。黄金荣当了三等华捕后，决心大干一场。他知道要想出人头地，首先要在法国人面前露一手，要能破获西捕、安南巡捕和其他华捕无力破获的大案要案，因此他表现得格外卖力，破了一些案子。由此，他获得上级的欣赏，一下就由华捕提升为巡捕房便衣警察，俗称“包打听”。提拔后的黄金荣被派差到十六铺一带活动。
十六铺码头是所谓“华洋杂处”之地，是当时最大的商品集散地，进出码头的不仅有劳工、商人、掮客，更有一伙伙的流氓瘪三，岸上比比皆是的各种商行、土行、妓院、茶楼、烟花间等，更成为藏污纳垢的场所。由于黄金荣在萃华堂学艺期间，常到城隍庙得意茶楼喝茶，结识了城隍庙一带的地痞流氓和青、洪帮分子。他进一步有意识地和这些人厮混，逐渐网罗了一批流氓混混，除了郑家木桥那群流氓瘪三，还有陈世昌手下那帮青帮小混混，个个都是黑道上的干将，此后他又逐渐收买了码头上其他几股势力的头目。为了获得巡捕房的信任，他还制造假象，用贼喊捉贼的办法提高自己的威信，他一面布置一批喽啰走卒，约好某月某日在什么地点作案抢劫，一面向法国警探告密。他掌握了带人破案的主动权后，自然就破了案。
除了“耍鬼”立功之外，黄金荣办事还是特别卖力认真，破了一些案子的。不久，黄金荣被提升兼任刑事科外勤股和强盗班两个部门的领班。
其后，黄金荣经人介绍，被林家招为上门女婿，住在八仙桥同孚里。林桂生长得小巧玲珑，黄金荣见到林桂生的第一眼，却觉得这是个世间奇女子，浑身透着那么一股浓缩的精干与灵气，而林桂生第一眼见到黄金荣，仿佛不曾注意到他脸上的麻子，感觉他大气豪迈，甚至器宇轩昂。的确，太太林桂生为人泼辣，精明能干，对黄金荣的事业帮助极大。
黄金荣最初的工作是在十六铺码头一带管理治安，他的破案效率很高，在巡捕房内慢慢就有了威信。最令黄金荣得意的还是侦破法国天主教神甫被绑架案。
法国的天主教神甫姚主教，和法国驻沪总领事、巡捕房总监等都是好朋友，具有操纵上海法租界的实力。一次为了传教，他坐火车去天津开办教堂，在山东被军阀张宗昌手下的部队给绑架了，准备勒索一笔巨款。
姚主教遭绑架，连法国国内都给震动了，奈何他们连绑匪是谁都不知道，总监急得焦头烂额，命令侦缉人员全部出动，四处探听，都没有消息。到哪儿去想办法呢？只能高价悬赏：凡通报姚主教下落并属实者，奖3000元；如能救出，则重奖10000元。黄金荣心里为之大动，他发动手下，千方百计搜寻线索。
该黄金荣走运，吴佩孚部下一个叫韩荣浦的后勤副官到上海来买东西，身上带的100块钱在火车站被偷了，走投无路之际，忽然想起有个老乡在法租界捕房当差，就来到法捕房。黄金荣向他打听姚主教被绑架之事，这个韩副官对此事恰好有所耳闻，黄金荣许下重金让其回去打探。不久，韩副官便打探得清清楚楚，并同绑架姚主教的张宗昌部队取得了联系，探听到主教被关押的地方，把赎金都说定了。结果，为了怕对方漫天要价，黄金荣叮嘱韩副官绕过部队的军官，直接买通乡下的看守人员。黄金荣带领几十个便衣，把姚主教营救出来，前后一共只花了几千元，顺利返回上海。
为此，法国巡捕房提升他为唯一的一个华人总探长，另派8名安南巡捕给他当保镖。而在社会上，越来越多的地痞流氓团结在他的周围，从此以后，黄金荣手操权柄，更是飞扬跋扈、胆大妄为，声名远播，成为地方一霸。
权力和名望达到相当高度后，聚集到黄金荣门下的流氓、瘪三、白相人，乃至寻求庇护的商人等也越来越多，许多人想拜黄金荣为老头子，无奈黄金荣都不曾拜过山门，一时寻不出个名目。1901年，黄金荣的儿子黄钧培满月那天，前来道贺者川流不息，天井里、客厅里，人满为患。于是，黄金荣开始与林桂生合计开香堂收徒之事，商量的结果：自立码头！
于是，黄金荣开始大肆收徒。尽管他从未拜过老头子、开过香堂，是个“倥子”，他却凭借着势大财粗而自称为青帮老大。黄金荣各个道上的朋友，包括政界、经济界等，无论是否在帮，一概赶来助阵，包括洋行买办虞洽卿。因为他的门生收得太多，一切手续就全免了，只要钱到位，递张门生帖子就行，所以黄金荣的门生众多，保守估计也有两三千人。黄金荣手里有了钱，就买下老北门民国路同孚里一座整齐的弄堂房子，自己住一幢，其余七幢房子分给了手底下的各位大将居住，称作黄公馆。
黄金荣开香堂收徒后，便以青帮大头目自居，自称“天”字辈，比“大”字辈还多一画，手下有了众多门生，黄金荣的日子过得越发潇洒起来。他利用手里的权，贩卖鸦片、开设赌场、合伙开跑狗场等，不到几年就成为上海滩上的头号大亨。
黄金荣水涨船高，黄公馆自然更加热闹起来，他住的同孚里一带人来车往，门庭若市，个个趾高气扬，气势非凡。可是，这一下公馆里的人手就显得有些紧张，当家人林桂生便托人给介绍几个用人，杜月笙正好有了这个命运。
杜月笙曾不止一次路过民国路，每当他走过弄堂口，总是远远地看上两眼，他也很羡慕在同孚里进进出出的人群。那些人，谁不是挺胸凸肚，趾高气扬，他们席暖履丰，出手阔绰，平时生活至少吃的是油，穿的是绸。不过，在他心里想，像黄金荣这样的大亨，岂能是他所攀附的！没想到现在自己竟然能成为其中的一员，杜月笙惊喜不已。
黄振亿带着杜月笙到同孚里的时候，在同孚里门房里，一条红木长板凳上坐着五六个彪形大汉，黄振亿亲热地与他们打招呼，那帮人皮笑肉不笑，爱理不理地点点头。杜月笙迷迷糊糊，头昏脑涨地跟着向里走，终于到了客厅。