1966年，南非发生了一件大事，南非总理和国民党领袖亨德里克·维尔沃德博士被一个白人极端分子用刀刺死。维尔沃德是种族隔离法律的缔造者，正是在他的领导下，南非才爆发了一起又一起流血冲突，白人和黑人之间的仇恨加剧。
现在，维尔沃德死了，但他的影响却没有丝毫减弱，白人当局对黑人反抗运动采取更为严酷的镇压，而对关在罗本岛上的曼德拉等人，更是严加看管。
此后不久，一位名叫范·任斯博的白人上校接管了监狱。此人性格极其乖张，喜怒不定，手上还刺着纳粹的标记。在曼德拉的铁窗生涯中，他从来没见过比此人更可怖的家伙。范·任斯博难得开口，但只要他一开口，便是极其肮脏的字眼。上有所好，下必投之，一些狱警们也开始效仿自己的主子，在前往采石场的路上推搡囚犯，突击检查牢房，没收囚犯们看的书籍，其中就包括了曼德拉和西苏鲁最喜欢的《莎士比亚戏剧集》和《希腊古典神话》。
有一天，一群喝醉酒的狱警冲进牢房，以搜查违禁物品为由，命令囚犯们脱光衣服，并排站着——那时候正是罗本岛的冬天，寒风刺骨。一个小时以后，一名囚犯晕倒在地，另一名囚犯提出抗议，要动手反抗，结果遭到毒打，牢房里面溅满了鲜血。
曼德拉等人决定采取行动，赶走这个残暴的监狱长。他们通过秘密渠道，和国外的非洲人国民大会领导人取得了联系，将这些政治犯在罗本岛受到虐待的事件在国际媒体上曝光。罗本岛“人间炼狱”的名声很快就在外界传开了，阿扎尼亚泛非主义者大会一名叫摩西·德拉米尼的囚犯还以《人间炼狱》为名写了一本书。
1967年的一个夏天，曼德拉等人吃早饭的时候，发现玉米粥上漂着肥肉。当天，他们的工作由砸石头变成了缝衣服。中午，曼德拉等人聚在一起吃饭，范·任斯博监狱长忽然走了过来。他咳嗽了一声，然后说：“只要你们不大声喧哗，是可以在采石场说话的。”这让曼德拉等人感到非常高兴。
晚上，当曼德拉会造自己居住的牢房时，他发现自己原本在走廊入口的4号牢房里所有的东西都被转移到走廊尽头的18号牢房。曼德拉意识到：有人要来视察了。
果然，第二天一早，狱警就告诉他们不用去干活了，因为国际红十字会的官员将会来岛上访问。
国际红十字会是一个独立、中立的组织，其使命是为战争和武装暴力的受害者提供人道保护和援助。在曼德拉的眼里，红十字会是“唯一既能够倾听我们的抱怨意见又受我们爱戴的组织”。曼德拉说：“监狱当局很尊重国际红十字会，我在这里用‘尊重’这个词，其中当然也包含‘害怕’的意思，因为监狱当局只会尊重令他们感到害怕的人和组织。监狱当局对能够影响世界舆论的一切组织都不信任，不把他们当成合法的、公正的调查者，而是把他们当成无事生非、爱管闲事的人。监狱当局主要的任务是避免受到国际舆论的谴责。”
当国际红十字会的官员问囚犯们对监狱生活有什么抱怨时，曼德拉马上走上前去，大声控诉监狱的恶劣条件和沉重的劳动负担。范·任斯博监狱长马上喝道：“曼德拉，回到你的位置上去，没有人叫你。”曼德拉没有理会他，继续和国际红十字会的官员们说话。范·任斯博监狱长又说：“曼德拉，我命令你回到你的位置上去！”曼德拉反唇相讥：“我已经站在这里了，我不想回去。”范·任斯博监狱长冷冷地看着曼德拉，然后命令狱警：“把他拉回牢房去！”
这次的抗议让曼德拉受到关4天禁闭的惩罚。不过，这并没有让曼德拉气馁，相反的是，在这4天的时间里，曼德拉代表所有的囚犯写了一封投诉监狱长的信。在信中，他对囚犯所受到的虐待以及劳动条件的恶劣发出了控诉：
几年来，我们一直干着这繁重的、枯燥乏味的工作，这深深影响了我们的健康。你们每天让我们做单调乏味的工作，敲石头、捡石头、铲石头，不给我们任何学习的机会，不让我们去干能对我们产生鼓励并能培养我们内心自尊和责任感的工作，你们没有作出任何努力帮助我们在出狱之后去过受人尊敬的、有意义的生活。
在信的末尾，曼德拉这样警告道：
这与我们的利益完全相悖了，我感到气氛越来越浓，大家越来越烦躁。我要求你们马上行动，采取适当的措施来缓和这个局面，不要让事情变得不可收拾。
在曼德拉等人的努力下，监狱的生活终于有了改善，管理也有所放松，囚犯们可以在冬天穿长裤和运动衫，也可以在采石场里唱歌，还可以在每周六踢30分钟足球。当时的范·任斯博监狱长是这么说服自己的同僚的：囚犯的身体不允许他们进行强度很大的足球运动，过两周他们自己就会提出不踢了。此外，如果囚犯这么想踢球，那届时禁止他们周六比赛就会成为一个非常有效的惩罚手段。
1967年12月的一个上午，犯人“流浪者队”和“雄鹰队”踢第一场比赛，允许部分囚犯看台观战，甚至挥出自制的标语横幅。没有人记得那场比赛的比分，但那天走下球场的每个囚犯，都成为了胜利者！
最初的足球场地，是一个高低不平的坑洼地，这些犯人自己动手把它铲平，并进行了浇灌。至于那些比赛用球，是用废弃的木头和被冲到岸上的捕鱼网做成的。为了防止鞋子打滑，他们用汽车轮胎做成鞋底。后来，在红十字会的帮助下，犯人们得以用家人寄来的钱为自己购买球衣和球鞋。
为了团结起来，也为了避免足球运动带来不必要的矛盾，在第一次比赛后仅4天，所有囚室的代表就聚集起来，开始讨论成立“石头足协”（因为这里以前是个采石场）的问题。足协后来改名为“马卡纳足协”。
足球运动在监狱蓬勃发展，催生了岛上其他球类项目。最后，罗本岛监狱甚至有了自己的夏季运动会。
然而，像曼德拉这样的政治犯，没有权利参加比赛，连看比赛的资格都没有。一位曾经在罗本岛上被关押了23年的普通犯人回忆说：“曼德拉就站在一张椅子或者一只箱子上，通过囚室的窗户看我们踢球。每个星期都是这样，这是他唯一的快乐。然而不幸的是，最终他连这个乐趣都被剥夺了。”
现任南非总统的非洲人国民大会主席祖马，当年就是罗本岛的足球名将。祖马当年还不够资格关入政治重犯的牢区，因此可以出场比赛。他成为了以防守严密著称的“流浪者队”的队长，司职右后卫或中后卫。现任南非最高法院的副审判长莫塞内克负责起草联赛的章程，同时也是足球联赛的主席。而当时的另一名球员茨维特，成了这个国家的第一位后种族隔离时期的体育部长。
罗本岛的政治犯人们，始终坚信他们在有生之年会看到一个自由的南非。从某些方面而言，是足球给了他们这种信念。曾经在1963年到1978年之间被囚禁在罗本岛的西托托说：“当你在室外的球场上奔跑时，你感到自由，就像在家里一样。”