我们要把握时间，善用时间。时刻铭记，伸张正义的时机永远都是成熟的，无需等待。
——纳尔逊·曼德拉
在亚历山大的这些年，曼德拉见到了太多的种族歧视。当地的白人将黑人视为“牲畜”“劣等动物”，很多公共事业机构、娱乐场所和运动场，城市里的医院、邮局等地都挂着“黑人不准入内”的牌子。一旦黑人反抗，白人就会用现代化的武器进行残酷的镇压。
律师事务所的老板希德尔斯基曾告诉曼德拉：“如果你要做一名成功的律师，就不要卷到政治活动里面去。因为从事政治活动，必然会得罪当局，从而丢掉客户，造成破产，进而导致家庭破裂，自己甚至都会丢掉性命。”
但是，这些忠告对曼德拉没起什么作用。曼德拉回忆说：“我认真地思量了他说的话，认为有一定的道理。但在当时，我已经开始倾向于政治了。我不知道我为什么会倾向于政治，也不知道自己倾向的政治到底是什么。我徘徊在政治与非政治的边缘，有些迷茫。”
此后，曼德拉会时不时地跟着高尔参加一些交流会，为争取黑人的权益而斗争。他印象最深的一次，是参与1943年亚历山大贫民区万人大游行，抗议当地公共汽车涨价。
在南非，由于种族隔离政策的限制，工资最低的黑人只能住到离工作场地最远的郊区。在1943年8月以前，单程车费一直是4便士。后来，汽车公司以战时物价上涨为由，将车费提高到了5便士。这对贫困潦倒的黑人来说无疑是雪上加霜，于是他们联合起来，反抗公共汽车涨价。
第一天，15000名非洲男子和妇女排成长达3英里的队伍步行到约翰内斯堡去上班，干完一天苦工后又步行9英里半回家。当地一家报纸报道了当时的情况：“许多洗衣妇背着沉重的衣物，佝偻着肩，赤着足，拖着脚步往前走。”
经过9天的抗议，汽车公司终于选择了妥协，将价格降到单程4便士。这次抗议活动的胜利让曼德拉第一次认识到：团结就是力量，只有广大的黑人团结起来，才能改善种族歧视的环境。
这也是曼德拉第一次与非洲人国民大会的近距离接触。该组织是南非历史悠久的黑人政治组织，成立于1912年，第一任主席为杜比牧师，当时称南非土著人国民大会，该组织主张非洲人团结，反对任何形式的种族主义，“建立一个非种族的、统一的、民主的南非”。
1925年，南非土著人国民大会改名为非洲人国民大会。1929年，非洲人国民大会与非洲人工会、南非共产党联合成立非洲人民权利，要求废除《通行证法》和许可证制度；1952年，非洲人国民大会与南非印度人大会发起“蔑视不公正法令运动”。
此后，非洲人国民大会声势渐渐衰微，领导人希望走和平路线，恳求白人当局开恩使黑人的处境得到改善。
1940年，非洲人国民大会选出了一个颇有能力的主席阿尔弗莱德·舒玛，他是个医生，取了个黑人妻子。舒玛主席给死气沉沉的非洲人国民大会带去了一丝新鲜的气息。上任伊始，他便说：“非洲人国民大会没有会员制度，没有记录，财务也是亏空的。”为了扭转局面，他到各地去振兴分支机构，并收纳了大量会员。在他的大力振兴下，非洲人国民大会从1930年的1000人发展到1947年的5500人。
1943年，舒玛主席受到第二次世界大战同盟国颁布《大西洋宪章》的启发，亲自起草了《南非黑人宣言》，这是一份号召南非黑人独立自主的文件，在当时影响非常大。
1944年，在沃尔特·西苏鲁的引荐下，25岁的曼德拉终于加入非洲人国民大会。在曼德拉看来，加入非洲人国民大会是他一生斗争的起点，他愿意为了拯救在痛苦中挣扎的黑人同胞，为了反对种族歧视，将沿着这条光明的道路一直走下去。
在曼德拉的自传中，他这样写道：
我并不是一生下来就渴望着自由，因为我生下来就是自由的，我以我能知道的各种方式享受着自由：我在我母亲那个小房子周围自由地奔跑，我在穿过我村庄的清清的小河里自由地游泳，我在夜空下自由地烤玉米，我骑在牛背上自由地歌唱。只要我听我父亲的话并遵守部落的风俗习惯，人间和天上的律条都不会找我的麻烦。
只有当我开始知道我童年的自由之梦其实是幻想的时候，我才发现，作为一个年轻人，我的自由已经被剥夺，因此，我开始渴望自由。开始，作为一名学生，我仅仅是要我自己的自由：晚上能待在户外的自由，想读什么书就读什么书的自由，想去哪里就去哪里的自由，这些都是一些暂时的自由。后来，作为约翰内斯堡市的一个年轻人，我渴望得到基本的、有尊严的自由：发挥自己潜力的自由，维持生计的自由，结婚的自由和拥有家庭的自由，这些都是在遵纪守法的生活中不受束缚的自由。
我慢慢地发现，不仅我的自由被剥夺，像我一样的每个黑人的自由都被剥夺了。就是在这个时候，我加入了非洲人国民大会；就是这个时候，我对自己自由的渴望，转变为对人民自由的更大的渴望，正是这种更大的渴望，即为人民争取尊严和自尊的生活的自由，才使我的生活充满了活力……从此，我决定成为一名自由战士，为南非人民的自由与那些压迫我们的统治者作斗争。