（1）
离开克拉拉后，很长一段时间，勃拉姆斯不能决定究竟哪一个城市是他可以安心工作的。
1856年，有一个邀请来自弗勒德立克公主，她是当时执政的理培德特摩尔德亲王的妹妹，她想拜勃拉姆斯为师学钢琴，并要他在她兄弟的宫廷里当音乐长。在克拉拉的鼓励下，勃拉姆斯接受了这个邀请。在短短的三个月时间里，勃拉姆斯的音乐才华颇被尊重，可是别人不喜欢他的生活习惯，因为他来自汉堡，汉堡原来是北德意志“自由城”之一，到处充满了自由的空气，不讲究爵位的那一套礼仪，他的举止行为使那些先生、太太们很不习惯，这对勃拉姆斯来说也是一段痛苦的经历。协约到期后，他马上就离开了那里，在哥廷根住了一段时间，勃拉姆斯遇见了另一个心爱的佳人。
（2）
与克拉拉的苦恋，让勃拉姆斯感觉套上了爱情的枷锁，离开克拉拉的这段时间，他经受了痛苦的煎熬，但同时年轻的心在新环境中渐渐苏醒过来。通过作曲家格里姆的介绍，勃拉姆斯认识了哥廷根一个大学教授的女儿阿加西·冯·西博尔德。
阿加西具有使勃拉姆斯为之着迷的魅力。她长得小巧玲珑，一头柔软、乌黑的头发在夏天的阳光下光辉闪亮，水汪汪的大眼睛透出聪明伶俐，看起来十分动人。勃拉姆斯与她聊天，感到一种从未有过的喜悦。经过一段花前月下的爱情，互换了戒指，自然就到了谈婚论嫁的时候。
勃拉姆斯不确定自己对于婚姻的信心，在选择离开一段时间后，他确信自己对阿加西的依恋只是一时的，他写信给她说：
心爱的阿加西，我多么地爱你，哥廷根的夏日回忆，绝不是虚假，但是关于结婚，现在的我没有信心，我不能戴上婚姻的枷锁……
这俨然是独身主义者所说的话。
他对阿加西的感情确实是真挚的，表现在他当时所作的歌曲以及被称之为“阿加西六重奏”的《G大调六重奏》中。在那首弦乐六重奏里，他让第一和第二小提琴重复地发出“阿——加——西”的声音。
朋友们都知道他们互换了订婚戒指，年长的格里姆还严肃地催他结婚，但勃拉姆斯还是不敢走上确定终生的一步。
对于自己不愿结婚的原因，勃拉姆斯这样解释：
当我遇到了这些失败，独自回到自己的斗室里，我对这些失败是不介意的。但倘若回来时遇到了我妻子的探询的眼色，而我不得不告诉她，我又遇到一次失败，那倒是我所不能忍受的。
他的这些独身理论听上去确实有些古怪。
有人以为他遇事谨慎，所以不敢谈婚姻，假如他有胆量担当这些责任，他的成就也许更大。也许他目睹了舒曼家庭的悲剧，怀疑自己也会如此，再加上要考虑克拉拉，他认为自己同别的女人结婚后肯定会冷淡克拉拉的。
碰巧的是《第一钢琴协奏曲》在莱比锡演奏失败了，这个作品是他交付演奏时内心对结婚与否的赌注，所以，他就作了离开阿加西的选择。
阿加西是一个很有自尊心的人，她太相信勃拉姆斯了，但勃拉姆斯深深地伤害了她，她回信给勃拉姆斯表示取消婚约，连同那订婚戒指也一齐退回了。勃拉姆斯原来想与她做个永远的朋友，这下也受到沉重打击。后来，他从别人那里了解到阿加西痛苦了十年，一直没有结婚念头，到了1866年才勉强同一个医生结婚，直到她婚礼前的一个晚上才烧毁了勃拉姆斯写给她的全部信件和赠送她的全部乐谱，勃拉姆斯也在多年后才将那首弦乐六重奏整理好。
（3）
1859年，勃拉姆斯在汉堡租了间屋子住了下来。有一天他发现邻居住着两位少女在唱二重唱。一个念头产生了，他决定成立一个女子四重唱合唱团。消息不胫而走，汉堡女子纷纷前来要求参加，一时间，人数猛增，先是28名，随即到了40名，这个合唱团定名为汉堡女子合唱团。
合唱团的章程由勃拉姆斯亲自制订，他仿照中世纪的模式精心训练女子合唱，使得每一位合唱队员在技巧上有了很大进步。那是些令人心情舒畅的日子，夏季的排练一般都是在室外进行，在柔和的夜空下，人们经常见到这群青年女子围着勃拉姆斯在歌唱，颇有一番情趣，他受到合唱团每位女子的爱戴。
在这段时期，来自维也纳的一个金嗓子姑娘贝塔，用奥地利民歌迷住了勃拉姆斯，同时因为她来自有着浪漫色彩与欢乐气氛的维也纳，所以她比德国北部那些性格保守的姑娘要动人得多。但勃拉姆斯不能作出跟她结婚的承诺，贝塔后来回到维也纳，嫁给了一个企业家，成了法柏夫人。
1868年，法柏夫人生了一对双胞胎，勃拉姆斯知道后，马上构思谱写了一首《摇篮曲》送去，以示祝贺。这部作品后来成了名曲。
把当初的恋人变为永恒的朋友，这是勃拉姆斯最希望的事情，而跟她相恋的那些女人往往也能很默契地配合他。
1862年9月，勃拉姆斯在维也纳，他可以常常与音乐界的同行好友尽情欢乐。维也纳有这样一些人，有从事学术研究后喜欢饮上两杯的学者，也有在宴席之余喜欢做一点学问的享乐主义者，勃拉姆斯并不反对各式各样的消遣娱乐，他感到这个社会对他来说十分理想，事业之余快乐地嬉戏一番是最好的生活了。
维也纳也有许多风姿绰约的姑娘，勃拉姆斯又一次爱上了嗓音甜美的女歌手奥蒂利厄·豪尔，他最优秀的几首歌曲就是在这位女歌手的启发下写成的。后来，他们也分了手，她嫁了人，成了他终身的朋友。勃拉姆斯又一次把年轻的情人变成好朋友，这种做法给他晚年的独身生活带来莫大的慰藉。
勃拉姆斯放弃爱情的能力还表现在对待舒曼与克拉拉的女儿朱丽叶的感情上。
事情是这样的。
大约在1862年秋天起，每年夏天来临，勃拉姆斯总要到维也纳附近南边大约20公里的避暑胜地巴顿，这里离克拉拉的别墅很近，他几乎天天都要到克拉拉家去。克拉拉告诉他意大利的玛摩利先生已表示要迎娶朱丽叶为媳，接连几天勃拉姆斯都十分苦恼。克拉拉很了解这个比她小14岁的青年，朱丽叶很美丽，具有典雅、高贵的气质，长像酷似克拉拉，勃拉姆斯喜欢她是很自然的。
过了好几天，当克拉拉还在担心这事时，勃拉姆斯却活泼愉快地出现了，他拿来一首乐曲。克拉拉看那乐谱封面，标题是《女中音狂想曲》，副标题则是《为女中音和男声合唱的管弦乐而作》。
（4）
勃拉姆斯为这件事痛苦可能还有一个原因，即一个人听到好友离开他而和别人结婚会有不适应感。此前他听到他的好友约阿希姆订婚时也曾十分痛苦。约阿希姆来信，说他已和某女子订婚，勃拉姆斯写去的贺信竟像哀书。像他们的这种友谊，贺信本该十分亲切真挚，可他的信中充满冰霜，他说约阿希姆不久将“俯伏在约阿希姆家里的摇篮上，而忘记他自己的一切事情了”。
（5）1864年，勃拉姆斯突然接到母亲病危的消息，慌忙离开维也纳回到汉堡，他的母亲已病入膏肓了。同年勃拉姆斯着手写《德意志安魂曲》，为自己的母亲，为罗伯特·舒曼，也为所有悲苦的人。这部作品在不来梅大教堂首演之前，他写信央求克拉拉一定要来。克拉拉答应了。
勃拉姆斯的母亲相貌平常，但她总是兴致勃勃，与勃拉姆斯的父亲相比，她好像是另一个模型的人。晚年她遇到了很大的挫折，她的丈夫在58岁的时候还像个反复无常的青年小伙子，渐渐对75岁高龄的她感到厌倦，开始把眼光转向别的年轻的女人那里。
有一度，夫妻间常常发生摩擦，后来终于分居。勃拉姆斯一再写信给父亲，想方设法劝他回心转意，但父亲很固执，坚决不答应朝和解的方向迈出一步。勃拉姆斯在自己的父母身上看到了夫妻成陌路的悲哀，这就更坚定了他独身的念头。
1869年2月，《德意志安魂曲》首次完整地在莱比锡演出，作品马上引起音乐界的轰动，人们立即认为这是世间的杰作。这首作品中，有对恩师舒曼的追忆，有在舒曼灵前长跪不起的克拉拉的形象，有舒曼的那些天真无邪的孩童们的性格，有对曾经伤害过的阿加西的眷恋，更有对自己慈祥母亲的回忆。
（6）
在接近不惑之年时，勃拉姆斯基本结束了在维也纳和汉堡之间穿梭往来的岁月，搬到维也纳卡尔大街一套两间的单身公寓里，他在这儿一直住到生命的最后一日。在这一套小小的公寓里，他可以随心所欲，但房间的凌乱常常令他的客人无所适从。
房间是这样安排的：穿过一条肮脏的过道走进屋子，得先穿过厨房和卧室才到起居室，进去之后却没有地方可以坐，所有的椅子上都摆满了乐谱和书籍，一个角落里放着一把老式的扶手椅，早已松动不堪。
勃拉姆斯常常请初次相识的客人尤其是姑娘去试坐一下，他们一坐下去，立刻就会两脚朝天，然后他会快乐地笑起来，可以说这是他为了向女士们开玩笑而特别准备的道具。他还亲自到市场购买东西，讨价还价时完全像个地道的家庭主妇。他用钱吝啬，爱抽雪茄，吃东西狼吞虎咽，使他的邻居们感到震惊。本来他就有鲜明的隐士性格，如今他又蓄起了胡须，他似乎想做一个名副其实的隐士了。
他偶尔也会碰到倾心的姑娘，但因为他不愿结婚，姑娘们不得不另作他嫁。有个叫伊丽莎白的姑娘，与他相恋，但后来嫁给了亨利克——一个二三流的作曲者。勃拉姆斯一点也不苦恼，他们经常见面，并且常通信，勃拉姆斯对亨利克乐曲的评论，总是抱着友谊的态度。
晚年的勃拉姆斯最喜爱的消遣是和一个漂亮的女人偶尔轻佻一下，即使在老年时也是如此。有人就觉得他太过孤独，劝他结婚，他却不加考虑，他的口号是：自由而欢乐。这也是他大部分音乐作品的基调。他有时像一个身穿杂色衣服的流浪艺人，用他的吹奏使女人的心跳起欢乐的舞蹈，但他只对两个女人——克拉拉和他的母亲——献出过自己的心。