每天放学之后，他最大的乐趣就是独自一人沿着伊萨河的河岸，走上很长的一段路。他经常停下来休息，想一些教会中的事情。有时候他会偷偷溜进圣母教堂，拣最后几排座位坐下来，然后看着大教堂墙壁上那些先知及圣徒的雕像。神坛前的烛光随风摇曳，神坛前面有几位修女及妇人跪在那儿祈祷。
在这种宁静而幽暗的气氛中，他企图找出那些一直困扰他的问题的答案。上帝是否像爱基督徒一样地爱犹太人？宗教老师不是常说“他是我们的父，我们都是他的孩子”吗？既然大家都是一家人，都是好朋友，那么，基督徒为什么又要把他们的教堂和犹太人的教堂分开呢？
他觉得雅各布叔叔无法在这个问题上帮上他的忙，而他又不愿意和父亲讨论，因为父亲并不关心宗教问题。对他来说，在这个每天都会令他更加困惑的世界里，这只不过是另一个令他感到困惑的问题而已。
因此，往后的几个年头，他一直生活在孤独与困惑中。他对学校的怨恨，只有在放假跟着父母前往湖边或山间度假时，才能稍微获得舒解。他们经常邀请艾尔莎表姐同行。艾尔莎和玛雅喜欢采集野花，结成一把花束带回家。阿尔伯特则说，花儿生长在阳光下会更漂亮，却引得两个女孩子哈哈大笑。
有时候他会被带去参加音乐会，或是被允许晚睡以便聆听母亲弹琴时，才是他最高兴的时候。
“你是不配听这么好的音乐的，淘气鬼！”阿尔伯特的母亲轻声责备他，“老师说你不愿用正确的方法练习。”
“那样学音乐是不对的。”阿尔伯特坚持说，“那个音乐老师很生我的气，也不愿继续教我。我认为他并不真正喜欢音乐，他老是提到音阶，他说我需要多练习。他跟学校里的老师一样，老是说我们必须像部队中的士兵那样操练、操练、再操练。”
他的母亲摇摇头，同时对他这种反叛思想感到震惊，却又不得不承认，以阿尔伯特的年龄来说，他的演奏水平算是不错了。他喜欢莫扎特音乐里那种轻松、优美而迷人的旋律。他认为只有这种曲子才值得演奏。他喜欢音乐，尤其在小提琴演奏方面很有天分。尽管他的音乐老师并不高明，但他到十四岁时已学会演奏小提琴，而且演奏得相当好，甚至应邀和一群年纪较大的演奏者一起演出。
阿尔伯特十岁时，进入了路易波尔德高级中学就读。这个学校最低的年级相当于我们的初中，学校教授全部高中课程，以及大学前两年所要学习的课程。学校的主要科目是希腊文和拉丁文。
在他年少的时候，阿尔伯特认为这两种文字不但枯燥无味，而且非常难懂。对一个不喜欢“操练”的学生来说，这两种文字实在没有意义，他越来越感到不耐烦，因此，他把课堂上的时间都用来思考一些令他感到困惑的问题。有人说，想要找出事情的“原因”及“经过”的，就是科学家。这么说来的话，阿尔伯特早已是一名科学家了。
这所学校的老师跟他以前的老师一样，冷酷而严厉，因此阿尔伯特感到很不快乐。这些老师坚持相同的原则，他们是带兵的官，而不是学生的良师益友。他们对学生提出的问题很不耐烦，而阿尔伯特就是这类老师最不喜欢的学生，因为他不愿以最简单的方式死记他所学到的东西，他一定要知道“为什么”，有时候还会提出令人困惑的问题。阿尔伯特经常因为未曾准备功课，而在放学后被留下来。他觉得这段时间比平常上课更为乏味。
在以后的岁月里，他一直记得，在慕尼黑的众多老师当中，只有一位是他的朋友。这位老师名叫路易斯，他给这位小男孩讲授席勒、歌德及莎士比亚的作品。对阿尔伯特来说，诗歌就像音乐一样美好，他也非常喜欢莎士比亚的剧本。许多德国人坚持说，莎士比亚的作品受席勒的影响很大。他永远记得，当他初读歌德的长诗《赫尔曼与窦绿苔》时，他的内心非常激动。
就在这时，阿尔伯特又结识了一个朋友，这个朋友引导他进入另一个迷人的世界。
遵照古老的犹太习俗，赫尔曼先生每周都会邀请一些贫苦的学生到家中用餐。每周四到赫尔曼先生家中吃晚餐的是一位俄国籍的犹太人，他是慕尼黑大学的医科学生，名叫马克思·塔尔穆德。塔尔穆德试图开导这个羞怯的小男孩，因为阿尔伯特在学校的成绩使得望子成龙的父母非常担心。
“原来你讨厌语言科目。”塔尔穆德有天晚上对阿尔伯特说，“不错，拉丁文是很枯燥，但我却必须靠它来学医。也许，你对科学有兴趣。”
“没错，可是我不喜欢他们那种教授方式！”阿尔伯特不高兴地回答说。
“你是否读过艾伦·伯恩斯坦所写的有关自然科学的那些小书？”塔尔穆德问道，“没有？行，下周我来的时候，给你带几本来。”
第二个星期四的晚上，当这个医科学生专心用餐时，阿尔伯特却一直盯着放在他盘子旁边的那些小书，那些书里叙述着各种自然知识，如植物和动物、星星和陨石、地震和气象等。阿尔伯特很惊讶地发现，这位作者虽然描述了这么多的自然事实，但叙述得很有条理。
“亲爱的阿尔伯特，在餐桌上看书是不礼貌的。”他的母亲提醒说，她转过头，微笑地望着她的丈夫说：“他这个样子真像几年前，你把小罗盘拿给他看一样。”
“我记得他当时一直缠着问我罗盘的原理呢，”雅各布叔叔笑着说，“但是，我并不是一个好的科学老师。”
“您比我们学校里的任何老师讲得都清楚。”阿尔伯特很感激地说，“开始学习代数时，我整个都糊涂了。雅各布叔叔在一分钟内就把一切解释清楚了。雅各布叔叔说：‘这不像是念书，更像是打猎。我们可以把x当做是一头猎物，我们努力寻找，直到把它抓到为止。’经过雅各布叔叔这么一说，我立刻就明白了。”
“他的同班同学开始学几何时，”雅各布对客人们炫耀说，“阿尔伯特已经把几何课本从头到尾念完了。”
“几何很有趣，因为它可以证明所有的定理。”阿尔伯特喃喃说道，“我喜欢证明各种事情。”
“你真像一位数学家！”他的叔叔说道。
“我早就说过，只要是他感兴趣的，他就能学得很好。”赫尔曼夫人似乎很高兴有机会来夸一夸她的儿子，“我也说过，他终究会懂得认真学习的，而且有一天会当上一名教授？”
“这也许比当一个失败的人好得多。”赫尔曼·爱因斯坦深有同感。
赫尔曼先生的话道出了他心中的苦楚，他的工厂经营得并不好。虽然玛雅还只是个小孩子，但做父亲的却已经开始担心，等到她将来出嫁时，他要到哪儿去张罗她的嫁妆呢？还有，阿尔伯特虽然在数学上很有天分，但像他这种学生，等到将来毕业后，教授是不会给他安排一份好工作的。等到这孩子长大到可以自立的年龄时，他要靠什么生活呢？
阿尔伯特并不知道父亲的生意遭遇困境，他在很短的时间里就读完了二十多本伯恩斯坦的著作。他知道最好别跟学校老师讨论这些书的内容。不过，雅各布叔叔和塔尔穆德则是很好的听众。
“当然，在化学和生物方面我可以指导你，”塔尔穆德说，“但是，我希望在数学方面我能跟你一样有天分。每次你解出我们都不会的问题时，我就觉得自己很笨。毕竟，我比你大了十一岁，而且还是个大学生。”
这个十四岁的小男孩高兴得羞红了脸，像这样的赞美是多么的宝贵！因为在学校里，从来没有人称赞过他。“这些都很简单。”阿尔伯特说，“几何与微积分的一切都设计得相当漂亮，就像是贝多芬的《小夜曲》。”
大约一年后，阿尔伯特·爱因斯坦这种舒适而有序的生活终告结束。赫尔曼先生必须关闭工厂，举家迁往意大利米兰。他希望当地的亲戚能帮助他东山再起。阿尔伯特不能跟着家人去意大利，他必须留在学校拿到毕业证，才能进入大学就读。这个男孩不想像父亲那样在生意场里奔波。他的父亲也认为阿尔伯特没有经商天分，在其他行业中，他也许还有成功的机会。
家人离开后，独自待在慕尼黑的阿尔伯特很快就开始觉得寂寞了。现在他住在学校宿舍里，每当回想起从前温暖的家庭生活，想起母亲无微不至的照顾，他就觉得格外孤单。他越来越喜欢数学，但这使他在学校的生活更加难过。因为他的同学、甚至他的教授们，都对他高出常人的数学天分感到不平。他从来不炫耀，也不爱出风头，但是，一个像他这样老实的男孩子却丝毫不懂得掩饰自己的不满。他不喜欢学校的教学方法，以及与学校有关的任何事物。虽然他很少说话，但教师和同学们也能感觉到他的不满情绪，因此都对他很抵触。
阿尔伯特·爱因斯坦觉得这样的日子实在单调而寂寞，母亲已经来了很多信，信里提到了米兰的明媚阳光及宜人景色，他也想亲眼去看看。因此，阿尔伯特决定到米兰和家人团聚。他知道，至少在数学方面，他的程度已经超过了高级中学的毕业生。阿尔伯特的数学老师给他开了一份证明，证明他的数学程度足以使他进入更高一级的学校，在数学方面做更深入的研究。他为自己争辩说：“这样一来，即使没有毕业证书，我也能进大学。”
慕尼黑的一名医生也表示，这位年轻学生的精神高度紧张，而且疲惫不堪，如果能到意大利和父母一起过个假期，对他的健康将会有很大的帮助。现在，他的数学老师不仅建议阿尔伯特·爱因斯坦换个环境，同时也建议他离开学校后可以不用回来了。
阿尔伯特很自然地问道，他为什么被高级中学开除。
“如果你认为我冒犯了你或者违反了学校的任何规定，”他说，“请把我的罪名告诉我，也许我可以替自己辩护一番。”
这位数学教师并未指出阿尔伯特有什么过错。但他觉得，把阿尔伯特·爱因斯坦留在学校，会影响其他同学对老师们的尊敬。也许他所指的，是阿尔伯特习惯在课堂上问些连老师们都回答不出的问题。
接下来的几个月，阿尔伯特在意大利过得十分愉快。他喜欢意大利人，他们快乐而单纯。跟刻板的德国人相比，意大利人显然自由多了。他长途跋涉，从亚平宁山脉一直游历到热那亚。他参观了各地的画廊，以及教堂的绘画和雕刻。对于途中听到的各种音乐，不论是剧院中的歌剧、音乐会表演，还是山区小旅馆中农夫的歌声，他都很喜欢。
如果赫尔曼·爱因斯坦的事业取得成功的话，这样的旅行生活也许会以一种愉快的方式结束，但是，当他在米兰，以及随后在帕维亚所开的电器厂全部经营失败后，他不得不对阿尔伯特说：“我不能给你提供充裕的资金了，你必须赶快找个工作。如果你能拿到高级中学的毕业证书，你也可以进大学就读。”
阿尔伯特·爱因斯坦知道自己不可能回到高级中学，而且他也不愿意回去，虽然他可以进入一所德国大学就读，但他不打算这样做。他下定决心要挣脱限制他自由生活的锁链。虽然他的父亲仍拥有德国国籍，但阿尔伯特计划放弃他和德意志帝国的任何联系。
他回答说：“爸爸，我不愿进大学。您认为我只是到处游荡、旅行、听音乐，其实我在计划选择一个行业，作为我终生的职业。我想研究理论物理学，因为我总想找出事物的真相。开始学习几何时，我了解到，数学也是一种语言，借助它，人们就可以知道大自然的许多奥秘。我想像牛顿及其他大科学家一样，自己来发现宇宙的真相。”
“那么，你最好进入一所好的技术学校学些东西。”
“是的，一般大学里教的哲学、语言及文学，这些我并没有兴趣，但技术学校里专门教授科学，我想学这个科目。”
父亲赞许地点点头说：“可以选择理论或应用两个方向。”
“我希望学习理论物理。这方面最好的学校应该是苏黎世的瑞士联邦理工学院。我也许不需要高级中学的毕业证书，就可以去就读。”他有点踌躇，因为他知道父亲的事业并不顺利，“如果您能资助我的旅行费用，我会到瑞士去参加理工学院的入学考试。”
“我会想办法让你去瑞士的。”赫尔曼·爱因斯坦深表赞许，“至于生活费，你也不用操心，要好好努力，我希望你能成功。”