在比勒陀利亚监狱关了6个月后，有一天，雅各布斯上校忽然找到曼德拉，对他说：“曼德拉，你是一个幸运的人，我们准备把你带到一个你可以享有自由的地方。在那里，你可以四处走走，能看见大洋和天空，而不是每天只能看见灰墙。”
曼德拉从雅各布斯上校的脸上可以看到嘲弄的神色，他没有说话，只是静静地听着。
雅各布斯上校接着说：“只要你不惹麻烦，你想要什么就能得到什么。”
随后，曼德拉等人被戴上手铐，押上一架老式达科他军用运输机，飞往罗本岛。曼德拉回忆说：“我讨厌从一个监狱转移到另一个监狱，太麻烦，而且很多时候会遭到侮辱性的待遇，会有很多限制，有的时候甚至会被他们用手铐拷上。而且在转移的路上，每停车一次，都要穿着让人感觉羞耻的囚衣面对狱警和民众。”
大约在空中飞行了一个小时，飞机终于到达了罗本岛上空。从窗口往外望去，火柴盒式的房子在冰冷的岩石中间显得生硬古板。远处传来海水敲打岩石的声音，一声一声，重重地击打在曼德拉的心头。
一下飞机，曼德拉等人就被命令脱光衣服站在外面。这是监狱生活的侮辱性仪式之一：当你从一个监狱转到另一个监狱时，必须脱下原来的囚服，换上新监狱的囚服。曼德拉在自传中这样说道：“那天，我穿上短裤，但我发誓：我穿着它的日子不会很长。”
监狱的看守是克雷汉斯兄弟，他们的残暴名声早已远播在外。大克雷汉斯向他们喊道：“囚犯们听着，这里不是约翰内斯堡，不是比勒陀利亚，这里是罗本岛，在这里我就是你们的上司。注意，伙计们，我们会杀掉你们，我们不会骗你们。即使我们杀掉你们，你们的妻子和孩子也不会知道的。这是最后一次警告！”
接着，大克雷汉斯命令曼德拉等人跑步进入牢房。曼德拉坚持要在前面带队，还故意放慢了速度，于是大克雷汉斯气得大叫：“我要杀了你！”
走进牢房后，他们发现里面漏水了。这时又过来两名狱警，其中一名对着他们当中的一个年轻小伙子说：“你的头发为什么这么长？”曼德拉反唇相讥：“我们头发的长度是这里的准则决定的！”
那名狱警勃然大怒，走向曼德拉，一副要打他的样子。曼德拉回忆说：“那一刻，我感到非常害怕。你明明知道别人想动手打你，但是你却不能进行自卫，这更加让人害怕。”
虽然很害怕，曼德拉仍壮着胆子说：“你要是敢对我动手，我就把你告到最高法院，当我打赢官司的时候，你就连教堂里的一只老鼠都不如了。”
那名狱警愣了一下，放下了拳头，接着又让曼德拉拿出记录他犯罪情况的票。看后，那名狱警大笑着说：“哈哈，你被判了5年还那么嚣张！”
曼德拉镇定地说：“被判5年那是我的事，我准备坐5年的牢，但是，我并不准备被人欺负！”
4天后，曼德拉等人又被押送到罗本岛的“狱中之狱”——一座特别为关押政治犯而营造的新监狱。这是一座长方形的石头建筑，中间是一个平坦的水泥院落，三面是牢房，另一面是20英尺高的墙，墙中间是一条狭窄的过道，有牵着德国狼狗的狱警昼夜巡逻把守，可谓“插翅难逃”。
曼德拉拿着刚发的三条如同纸一般薄的毯子，跟在狱警后面，穿过长长的走廊，来到尽头的单间牢房。牢房门口挂着一块牌子，上面写着：N.曼德拉，466／64，表示他是这个岛上1964年以来接受的第466名囚犯。
房间里面弥漫着一股腐臭的味道，而且非常小，不足4.5平方米，靠墙有一把长宽各一尺的凳子，旁边是用作马桶的木桶。以曼德拉的身高，只能勉强在牢房里躺下。
晚饭过后，曼德拉听到有人敲他的窗子。打开一看，是一名黑人狱警，他带来了温妮的消息，并说：“我以后每天晚上都会给你带烟和三明治来。”这让曼德拉在苦闷之余感到一丝欣慰，即使是在以阴森恐怖著称的“恶魔岛”上，也有好心人的存在。
1963年6月，温妮第一次获准去罗本岛看望曼德拉。在罗本岛上，温妮第一次看到了自己丈夫生活的地方，她回忆说：
他们紧靠岸边盖了简陋的水泥房子，光线很差，铁丝网把犯人和探望的家属分开。他们把纳尔逊带到我面前，我却没办法摸到他。在半个小时当中，我必须站在铁丝网的另一边跟他说话，没有地方坐。我只能看到他的轮廓。我们必须大声喊才能听见，而狱警一直站在旁边，确实让人难堪。
如此沉闷、阴森、冰冷的罗本岛，根本不像一座监狱，而更像一座地狱。白人当局要在这里浇灭犯人们对生活的希望之火，把他们变成一具具智慧唯唯诺诺听从命令的僵尸。
几周后，曼德拉又接到通知让他收拾东西，并再次被押送往比勒陀利亚地方监狱，单独囚禁在一个囚室。监狱当局的解释是：在罗本岛上，阿扎尼亚泛非者主义大会的成员殴打了曼德拉，为了他的安全，当局决定转移他。曼德拉知道，这是监狱当局演的一出戏，尽管非洲人国民大会和阿扎尼亚泛非者主义大会在政治观点上有一些分歧，但他们在罗本岛上相处得非常融洽，从来没有过任何争论。政府企图离间非洲人国民大会和阿扎尼亚泛非者主义大会的行为让曼德拉哭笑不得。