罗本岛虐待囚犯的消息传出后，迅速在世界各地引起了强烈的反响。在国际社会的巨大压力下，南非当局决定派3位法官来罗本岛，了解犯人的生活状况。
此时的监狱长已经换成巴登霍斯特了，他是一个比范·任斯博更凶残粗鲁的官员。巴登霍斯特一上任，就马上降低了囚犯的伙食标准，并阻止外面的人来监狱进行探视。曼德拉等人历经几年抗争而争取到的革命成果在一夜之间又失去了。
1971年末，3位法官登上了罗本岛，并当着巴登霍斯特监狱长的面与犯人代表曼德拉会晤。曼德拉并不避讳巴登霍斯特，将最近发生的狱警打人事件一一反映给3位法官。在反映的过程中，巴登霍斯特显得坐立不安。不久，他插话说：“曼德拉，那些犯人被毒打你亲眼看到了吗？”曼德拉说：“我没有亲眼看到，但是我所了解的这件事是真实的。”巴登霍斯特气急败坏地威胁道：“当心啦，曼德拉。要是你说的事自己根本没看到，你会倒霉的，懂我的意思吧？”曼德拉揪住巴登霍斯特的错误，转身面对3位法官说：“先生们，你们已经亲眼所见，管理这座监狱的人是何种类型的家伙。他当着你们的面都敢威胁我，那么，你们可以想象，如果你们不在的时候，他会做出什么事来。”一位法官对另外两位同行说：“这个囚犯说得有道理。”
3位法官离开罗本岛不久，曼德拉等人就听到消息，巴登霍斯特要调离了。令曼德拉没有想到的是，在调离的前一天，巴登霍斯特专门找到曼德拉，礼貌得令人吃惊。他把自己将要调任的消息告诉曼德拉，然后伸出手来，善意地说：“我谨祝愿你们好运。”曼德拉一时间没有反应过来，但他很快镇定了下来，随即伸出手同他握手，对他表示感谢，也同样祝愿他在新的职位上好运。
这个小小的事件对曼德拉的影响是非常深远的，他开始认识到，表面上再残暴的人，人性中也隐藏着温和、善良的因素。好的社会制度能将坏人变成好人，坏的社会制度能将好人变成坏人，巴登霍斯特的残暴，就是由一个坏的社会制度造成的。这种观点帮助曼德拉形成了自己后半生对“压迫者”荷兰裔白人的态度。他日后投身与白人的政治竞争，也和这个事件有关。
1971年12月，新监狱长威廉姆斯上校到任。威廉姆斯是一个彬彬有礼、温文尔雅的绅士，给人感觉温和干练。威廉姆斯对囚犯们非常客气，他一上任，就恢复了囚犯们以往的正常生活。25年后，他回忆说：“政府告诉我要改变气氛。我尽量让自己显得平易近人：所有的投诉在监狱里处理掉就好了，不用他们进一步上诉……我知道他们是政治领袖，不好惹。”
在威廉姆斯开明的管理下，囚犯们在罗本岛上的生存环境有了进一步的改善，最明显的是岛上有了学习的气氛。
每天早上，囚犯们都会聚集在采石场里，一边劳动一边学习。一位囚犯回忆说：“我们可以一边挥镐，一边听讲。来到我们的工作场所，你总能看到有活动在进行，各个小组在不同的地点集中，你就知道他们在上课。”
曼德拉负责给犯人们教政治经济学，主要内容是讲社会的发展：从封建主义到资本主义，再到社会主义。每次，曼德拉都会号召学生们参与辩论，他本人也非常喜欢辩论。一位曾经在罗本岛上拿了两个学士学位的囚犯回忆说：“纳尔逊参与辩论的时候是最积极的，他辩论起来毫不留情，有时候还会冒犯到别人。他采用了苏格拉底的辩论方式并稍加改进，与人辩论时可谓锋芒毕露。很少有人喜欢被一遍又一遍地询问，这让容易暴露他们的浅白和无知。我有好几次被纳尔逊驳得哑口无言，丢脸至极。但现在想来，那段经历对我是有好处的。它教会我看问题要看两面，这样才能得出更加客观的结论。”
在监狱里，为了了解荷兰裔白人的历史和更方便地与他们交流，曼德拉还学了两年南非荷兰语课程。西苏鲁回忆说：“纳尔逊使用南非荷兰语问候狱警的时候一点儿都不紧张，跟他们交谈，借此练习南非荷兰语，神情非常自然。其他的囚犯对此感到很疑惑，有人还生出抵制情绪，但纳尔逊没有这种感觉。他是真心想要了解荷兰裔白人，很清楚那些狱警对他实现自己的目标帮助有多大。”
他们还排演戏剧。囚犯们把古希腊悲剧诗人索福克勒斯撰写的《安提戈涅》改编成了一出戏剧，曼德拉出演了剧中残暴的国王克瑞翁。曼德拉为了演好这个角色，还特意买了大堆希腊戏剧文学著作。狱警对这些书毫不感兴趣，所以毫不费周折，书就运了进来。
除了劳动和学习，曼德拉还要求监狱当局为他开辟了一个菜园子。他回忆说：“几年中，他们毫无理由地拒绝了我。不过，最终他们总算同意了，我在对面的墙根处开垦了一片狭长的小块土地，搞了个小菜园。”
园子是用废渣垫起来的，而且还有很多石块。为了开辟菜园，曼德拉必须把大量的石块挖出来，使植物有生长的空间。那时候，他的狱友开玩笑说曼德拉是一个不折不扣的矿工，因为曼德拉白天在石料场挖石灰石，而业余时间又在院子里挖石头。
曼德拉感觉自己好像回到了特兰斯凯的童年，看到了久违的故乡。一位名叫卡特尔的狱友笑着说：“现在这个菜园是纳尔逊的宝贝，他对它很着迷。”在曼德拉的带领下，囚犯们在园子里忙得不亦乐乎。卡特尔每天都能看到他们排着队出去，带着尺子、圆珠笔、标签和别的仪器，仔细地测量，还做了大量的笔记。
园子整理好后，曼德拉跟狱警要了种子。开始，他种植了番茄、辣椒和洋葱，都是一些不需要沃土或精心照料的耐寒植物。曼德拉微笑着回忆说：
第一茬收成不怎么好，但后来收成很快增加了。监狱当局并没有为允许我开辟这个小菜园而感到后悔，因为这个小菜园绿色满园之后，我常常为狱警提供最好的番茄和洋葱……我把菜园作为我生活某些方面的象征。一位领导人也必须管理好自己的菜园，他也要播种、看护、耕作，最后才能去收获。像一个园丁一样，一个领导人必须对他所培育的对象负起责任。他必须关心自己的工作，要驱赶敌人，要保留可以保留的东西、扔掉不应保留的东西。
到1975年末，曼德拉共种了2000个辣椒、1000个西红柿、2000个西瓜，还有萝卜和洋葱。
漫长的监狱生活，打造了曼德拉忍耐、宽容、坚毅的个性，也形成了他规律的生活习惯。
每天凌晨4：30分，曼德拉就要起床，进行体育锻炼。在自己那间不足5平方公里的囚室里，身高1.83米的曼德拉先原地跑步45分钟，然后做100次俯卧撑、200次仰卧起坐和50次下蹲运动。
“锻炼不仅对一个人的身体健康有好处，而且对心情舒畅也有重大作用。锻炼能消除紧张，而紧张是健康的大敌。我发现，当我身体好时，我工作起来就感到愉快，思维也很敏捷，因此，锻炼就成为我生活中不变的习惯。”曼德拉在自传《漫漫自由路》中这样写道。