曼德拉被判处5年监禁，他从公众的视线中消失了，却留下了让人永远难以忘怀的印象：他是领导人民斗争的自由主义斗士，他是组建“民族之矛”的军事领袖，他是机智多变的“黑色海绿花”……在南非黑人的眼中，曼德拉成了甘地那样的英雄人物。
曼德拉的好友奥利弗·坦博在非洲人国民大会于国外的新总部——坦桑尼亚的达累斯萨达姆发表演讲时，对曼德拉做了个精准的评价：
作为一个男人，曼德拉热情、感情洋溢、敏感，容易被羞辱带来的痛苦所刺伤。他有一种天生的威严气质。他总是能吸引大众，他身材高挑、相貌英俊。他信任年轻人，年轻人也信任他，他们两者心心相通。他吸引女性。他专注而无畏。他是天生的大众领袖！
而现在，这个“天生的大众领袖”却被关进了比勒陀利亚地方监狱。他的衣服被扒走了，取而代之的是一套非洲人专用的标准囚服：一条短裤、一件粗卡其布衬衣、一件帆布夹克、一双袜子、一双拖鞋和一顶布帽子。
只有非洲人才发给短裤，因为只有非洲人才被监狱当局视为“罪犯”。曼德拉告诉狱警：“我不穿短裤，如果监狱不答应，我就要去法院提出抗议。”
后来，当狱警给曼德拉送来晚饭的时候，是又冷又稠的玉米片粥和半茶匙糖。曼德拉拒绝吃这种食物。负责看管曼德拉的雅各布斯上校仔细地考虑了这件事，决定允许曼德拉穿长裤子，吃自己的传统食物，条件是同意被单独关押。
曼德拉不但穿上了长裤，还吃上了自己家乡的饭菜，按理说他应该满意才是，然而，很快他就变得消沉了，因为他在这里找不到一个可以聊天的人：
在后来的几周时间里，我被完全单独关押起来，我见不到别的犯人的面孔，听不见别的犯人的声音。我每天被关押23小时，上午和下午各有半小时的活动时间，真是感觉度日如年。关押我的囚室没有自然光，一只灯泡在头顶上一天24小时地亮着。我没有手表，常常把傍晚当成了夜半三更。我没有书看，没有书写用品，也没有人跟我说话。我的心开始与外界隔绝，但很想感受一下外面的事物，以集中自己的注意力。我觉得，宁愿挨一顿打也不愿意被单独关押了。被单独关押了一段时间之后，哪怕是与囚室内的虫子在一起也感到高兴，有时甚至想与一只蟑螂一起聊一聊。
几周后，曼德拉决定放下自尊，告诉雅各布斯上校他将用长裤子去换取有人为自己做伴。雅各布斯上校笑了笑，答应了。
就是在单独关押的那几周期间，曼德拉有足够的时间考虑自己的命运：一个自由战士应该与他的人民在一起，而不应在监狱里。并为不能把自己的知识用于创建一支自由军队而诅咒着。
在监狱里，曼德拉还见到了两年前因反抗《通行证法》而自愿入狱的阿扎尼亚泛非者主义大会的主席罗伯特·索布克韦。他们两人相处得很好，互相以“麦迪巴”和“赫拉提”称呼，并探讨斗争的政策和策略的问题。曼德拉认为阿扎尼亚泛非者主义大会提出的“南非将在1963年获得自由”的幻想是不现实的，他批评道：“兄弟，现在已经是1963年了，但是你们所说的自由依然显得遥遥无期。作为一个领导，没有比提出自己明知道不可能实现的目标更危险的了，这只会在民众之间引起不切实际的幻想。”
1963年初，索布克韦服刑期满，但南非政府专门为他通过了法案，称为“索布克韦条款”，旨在对他进行终身监禁，除非他放弃对抗政府的立场。索布克韦并不屈服，所以，他被送往罗本岛，单独关押在罗本岛采石场附近的一处独身牢房，警戒等级堪称全岛之最。
因为即使在罗本岛，南非政府也担心索布克韦的政治影响力，所以，没有把索布克韦放到其他政治犯一起呆的地方，专门为他建了独立的牢房，只有守卫看护他。他没有被探视的权利，卫兵也不能和他说话。几年下来，索布克韦几乎丧失了说话的能力。
每隔几个月，南非政府都会派人来询问他是否愿意放弃对抗政府。回答一直是否定的。1969年，索布克韦患肺癌，被转移到金伯利继续软禁，直至1978年去世。