家道中落后，曼德拉和母亲迁徙到姆卫佐北面的库姆村。库姆村位于一个狭长的山谷内，周围被青山环绕，这个小村庄里面仅仅居住了数百人，住的都是茅草屋。这种茅草屋是非洲人传统的民居，屋子呈圆形，墙由泥土砌成，再用木头柱子撑起成角度的茅草屋顶。门非常矮，人必须弯腰才能出入。
在一些比较平整的地段，当地的居民种了一些着玉米、高粱、豆子还有南瓜，这些都是当地居民的主食。种地耕作的活儿，一般都由当地的妇女干，因为成年的男子要去遥远的金矿打工，以换取茶、咖啡、洗衣粉等“奢侈品”。
库姆村里有曼德拉母亲的亲属，因此母子生活得还不错。他们给了曼德拉母子三间茅草屋，一间用来做饭，一间用来睡觉，一间当做贮藏室。在这三间圆顶小茅屋里，曼德拉得到了母亲的慈爱和呵护，感受到了世间所有的幸福和愉快。
虽然生于乱世，但曼德拉在故乡的童年生活依然是无忧无虑的。在这个偏僻的小村庄里，孩子们仍能想出各种稀奇古怪的玩法。他们用木头制作玩具，用泥土捏成各种动物，坐着自制的“雪橇”从高山上滑下来，虽然每次都会摔得屁股生疼，但他们依旧乐此不疲。有时候，他们还会去别人家的玉米地里偷玉米，然后在河边点燃柴火，烤玉米吃。
一直到傍晚，孩子们一个个都像从泥塘里捞出来一样，浑身脏兮兮，拖着疲惫的步子回家。到家后，曼德拉会看到自己的母亲正在那里做饭。晚饭过后，一群孩子又会跑到村头的大树下，听村里的老人给他们讲先辈们浴血奋战守土保家的故事。在罗本岛的监狱中，曼德拉在给友人思思的信中说道：“我们的家庭比白人的大得多，这总是件快乐的事，整个村庄、一个区甚至几个区都接纳你，家族和你在一起，你是一名受到钟爱的家庭成员，你可以随时上门，完全放松，轻松自在地睡觉，还可以自由参加所有问题的讨论，你甚至可以免费得到牲畜和建筑用地。”
1993年，曼德拉获得了诺贝尔和平奖，但讽刺的是，童年时代的曼德拉却远称不上一个和平主义者。曼德拉喜欢跟村里的男孩子打架，由于他身材高大，所以每次都是他获胜。曼德拉的妹妹回忆道：“小时候在家的时候，他总是非常严肃，我们不能相互捉弄。那个年龄，他就有领导才能。我们都很尊敬他，还有点怕他。”
更加让人忍俊不禁的，是他小时候的一次“偷猪事件”。在一次访谈中，曼德拉微笑着回忆这件事：“我们喝了点啤酒，然后带着喝剩下的酒随风漫步，让风把我们带到有猪的村子里，我们给猪群尝了点‘甜头’，并用酒来‘诱惑’猪群跟我们走，一旦我们远离村子，我们就走在猪群的后面赶它们进了山谷，最后在那里把它们烤了做野味。”
作为全国最贫穷的地区，这里五分之一的村民是文盲。有一天，一位信仰基督的朋友乔治·穆贝基拉来到曼德拉家，对他的母亲说：“你儿子是个聪明的孩子，你们应该让他去接受教育，以适应白人社会。”
曼德拉的母亲没有吱声，她没有权利做这个决定，必须得去征求丈夫的意见。曼德拉的父亲最终同意了，他成了全家第一个读书的人。
学校在离村子不远的地方，西式的房子，里面的老师都是白人。到学校的第一天，英语老师问他的名字，他回答：“我叫豪利沙沙。”老师听后笑着说：“这个名字太别扭了，不好记。”于是给他取一个白人的名字：纳尔逊。
回到家后，曼德拉把自己的新名字告诉母亲，母亲念了好几遍，可还是发不好这个音，于是只好叫他原来的名字：豪利沙沙。曼德拉的母亲不会想到，这个她连音都发不准的名字，后来居然影响了整个世界。
上学是个很大的转变，曼德拉改变的不仅是他的名字，还有他的穿着。在上学之前，他和村里的男孩子一样，用一块布裹住一边肩，然后在腰间绕一圈缠起来，这是非洲人传统的服装。为了能够体面地上学，老曼德拉把自己的裤子剪短，给曼德拉穿上。曼德拉在回忆录里说：“我去上学的时候，我父亲把他的马裤给了我，他把裤子剪短了让我穿，还找了一根麻绳当腰带。然后他还把他的衬衫给了我。上学的第一天，我就是穿这一身去的。”
从此，纳尔逊·曼德拉由此进入了一个全新的世界。