当曼德拉在政治界渐渐声名鹊起时，他的法律职业之路也有了新的进展。1952年8月，刚取得律师资格证的曼德拉和好友奥利弗·坦博合伙开办了“曼德拉—坦博律师事务所”，地点设在约翰内斯堡中心的法官大厦。
这是全球第一家黑人律师事务所，它的创办有划时代的意义。当他们把“曼德拉—坦博律师事务所”的牌子挂到窗户上时，办公楼里的白人们炸开锅了。
“曼德拉—坦博律师事务所”开张后，很快就顾客盈门，前来办理业务的大多数都是黑人，他们触犯的几乎都是种族隔离法律。“从只有白人才能通过的门通过是犯罪；乘坐只有白人才能乘坐的公共汽车是犯罪；使用只有白人才能使用的饮水喷头是犯罪；在只有白人才能在上面行走的海滩上行走是犯罪；晚上11点后在大街上走是犯罪；没有通行证是犯罪；通行证上签字有误是犯罪；在不恰当的地方被解雇是犯罪；在不恰当的地方被雇用是犯罪；在某些地方居住是犯罪；没有地方居住也是犯罪。”坦博回忆说，“每天早晨进办公室之前，我和纳尔逊都要摆平那一大片从等待室椅子上站起来涌进走廊里的人……我们每周都会与那些头发花白、饱经风霜的农民面谈，他们从乡下被赶过来，并告诉我们，他们世世代代在那一片土地上耕作，但现在，他们却被赶了出去……法庭上的每个案件，狱中的每一次走访，都在提醒我们，我们的同胞正在忍受屈辱和痛苦。”
作为一名黑人律师，代理案件又多是人权案，可想而知曼德拉和坦博的处境有多艰难。曼德拉回忆说：“在南非，当律师意味着在一种非常恶劣的法律制度下工作。那不是一种神圣的、平等的法律制度，而是一种根本无平等可言的法律制度。”
坦博拥有非常惊人的工作能力，他沉默寡言，但思维清晰、遇事冷静，跟曼德拉形成了巨大的反差。曼德拉身材高大，外表庄严，能言善辩，常常在法庭上侃侃而谈，视台上台下的众人于无物，这也招致了很多检察官的非议，说他太过傲慢。而坦博则说：“曼德拉只需要转身向上瞥一眼，周身立刻就有火焰般的光环出现。”
在办理黑人案件的过程中，曼德拉渐渐意识到：“‘曼德拉—塔博律师事务所’就是普通非洲人的家。这是一个他们可以随时进来并能找到同情和支持的场所，一个不会被拒绝和欺骗的场所，一个他们可以实实在在地为有与自己肤色相同的代表而骄傲的场所。这是我首先选择当律师的一个原因，我的工作常常使我感觉自己作出了正确的决定。”
在法庭上，曼德拉常常表现出无与伦比的机智和大胆。一次，一名黑人佣人被指控偷了雇主家的衣物。按照法庭的要求，被偷的衣服被摆在法庭里的一张桌子上。曼德拉听完那位女士的举证后，马上走到那堆衣服前面，然后用铅笔挑起了一件女人短裤。曼德拉询问那位女士：“太太，这件短裤是你的吗？”那位女士由于非常尴尬而只好说：“不是。”由于她的证词中充满了矛盾，所以地方法官驳回了这个案子。
渐渐地，曼德拉成了当地的传奇人物，很多人不管是否懂法律，都会聚集在听众席上，争相一睹这位黑人律师的风采。
随着声誉日隆，曼德拉的敌人也渐渐多了起来。很多白人律师都主张驱逐曼德拉，理由是他在非洲人国民大会发起的“藐视运动”中所起的领导作用，该行为“与一个体面的行业成员所应有的行为标准不合”。然而，法官最终还是认为，曼德拉的做法并没有超出律师的权力范围，作为一名律师，他参加的种种政治活动，都没有和国家的法律相违背。
1955年11月，曼德拉为一名黑人出庭辩护，担任法官的是一名趾高气扬的白人，名叫威廉·多迈尔。曼德拉一到庭上，威廉·多迈尔就要求他出示律师证件。曼德拉随身没有携带证件，于是威廉·多迈尔宣布休庭。等到曼德拉回家拿到律师证件并开始辩护时，威廉·多迈尔又多次打断他。时间长了，台下的听众开始不满起来，发出嘘声表示抗议。在这种情况下，曼德拉表示自己无法进行辩护，于是案件被发回重审。
曼德拉回忆说：“那个时候，迫害和驱逐的威胁总是悬在我们头上。我们的做法是公然蔑视法律。我们清楚这一点。但尽管如此，这种做法是我们不情愿的，是强加于我们的。我们没有其他办法，只能在服从法律和服从我们的良心之间作出选择。”
事实上，曼德拉一直没有放弃自己的“藐视主义”，他也一直没有认同过种族主义的合法性。在办公室的时候，一旦有白人来访，曼德拉就会大声地说：“请找坦博先生。”这些白人往往会一愣，因为在南非，黑人是不能被称为“先生”的。
当时，有一位叫贝蒂的白人秘书，他对曼德拉颇有好感，觉得他口才上佳，待人又有绅士风度，不像别的黑人那样窘迫。她便常常来找曼德拉和坦博聊天。贝蒂回忆道：“有一次，当我去收拾他们吃完的盘子准备还给咖啡店时，坦博说：‘想象一下如果楼下那些人知道了谁用了他们这些好看的白盘子用餐会怎么办。’我们不禁大笑了起来。”
律师事务所开业一年后，曼德拉和坦博开始面临着一个巨大的生存危机。在那年，白人当局颁布了《特定居住法》，规定没有政府的特批，黑人没有资格在市中心拥有营业场所。曼德拉不愿去找相关机构申请特批，因为他根本就不承认这条法律的合法性。后来，曼德拉试图申请一个临时许可证，但遭到当局的拒绝。当局还威胁他，要是不把律师事务所搬出市区，他们就会把他驱逐出律师这个行业。