抵达安纳西时，巴克便向卢梭道别。卢梭和他虽然相识不久，但巴克的善解人意和风趣乐观却深深地影响了卢梭。如今就要分别了，卢梭心里不禁有些伤感，他依依不舍地目送巴克离去。然后，卢梭来到华伦夫人家门口，他心里有些紧张。不过当他见到华伦夫人时，华伦夫人那亲切的语气、和蔼的面容使他很快恢复了镇定。华伦夫人温和地询问卢梭一路上的见闻，并诚恳地留他在家里住下来。卢梭很感激华伦夫人，对自己能够受到的款待也很欢喜。
卢梭住的是一间古老的房屋，地方宽敞，这个屋子位于花园的小径旁边，也就是他第一次来拜访华伦夫人时，走过的那条小径。窗外，花园里树木蓊郁，繁花似锦，洋溢着一派田园风光。这是卢梭第一次住在这种环境中，他心里不禁非常感谢华伦夫人的善良和慷慨。住在这样宽敞的房间里，面对着这样优美宁静的景色，卢梭心中的郁闷一扫而光。这里虽然不如古丰伯爵家奢华艳丽，但屋子整洁安静，别有一番情趣。华伦夫人非常好客，又很乐于帮助别人，每次在家里举行宴会时，她都会叫卢梭一起参加。
华伦夫人家有一个女佣名叫曼勒，还有一个仆人安格，一个厨娘南希，以及两个马夫乔治和威廉。卢梭和华伦夫人的相处模式很像是母子俩，他叫她“妈妈”，而她称呼他为“我的孩子”。平时卢梭帮助华伦夫人整理一些资料，誊清教堂往来的单据，有时候还帮助她采集药草、抄写药方、制作药丸。华伦夫人的访客总是很多，而且涉及社会各个层次的人，有军人、医生、传教士、妇人等，她很乐于接待这些宾客，这种热情好客的作风使卢梭从中获得了不少乐趣。有时候，卢梭也与华伦夫人讨论文学，或念书给她听。华伦夫人天资聪颖，爱好文学，鉴赏力也很强，她说话时常常带有很文艺的气质，华伦夫人虽然生活在乡间，但并没有乡间妇人的庸俗和粗鄙。她喜欢与人交流，卢梭在无形中吸取了许多宝贵的处世经验。
工作之余，卢梭也没有忘记继续阅读，他在屋里找到一些书，其中有一本《旁观者》，他最为喜爱。他仔细研读书中的用字、措辞、结构和情节设置，并用这种方式来训练文法，纠正他昔日惯有的发音。
华伦夫人鼓励卢梭去神学院读书，并送给卢梭一本乐谱。偶尔她也会教卢梭唱歌，她的嗓音轻柔动人，她还会弹琴，这些熏陶使得卢梭对音乐越来越感兴趣。卢梭经常将华伦夫人送她的歌谱带在身边，反复地练习，不久后，他就学会了里面所有的歌曲。卢梭到神学院后，负责教他的是一位青年牧师加迪埃先生，他本身也在神学院进修，利用自己的课余时间教导卢梭。他长得很白净，斯斯文文的，不屑于隐藏自己的情感，卢梭从他的眼神和声音中时常能够看到忧愁。
加迪埃先生善意而有耐心地教导卢梭，他是卢梭离开家后遇到的最善良的老师。在他的悉心指导下，卢梭的思想渐趋成熟。
有一个星期日，卢梭从神学院回到华伦夫人家，远远就看见邻居的房子失火了，眼看火势就要蔓延到华伦夫人家。卢梭赶紧跑过去，全家人一起将家具搬到花园里。那天大主教正好来做客，他和华伦夫人一起跪在花园里祈祷，卢梭和其他人也一起跪下。不知道是不是这份虔诚感动了上天，总之风向转了，火势没有蔓延过来。
卢梭每次回华伦夫人家都带着那本歌谱，还会唱些在学校里新学的歌给华伦夫人听。华伦夫人认为卢梭对音乐很有天赋，有意让他朝这个方向发展。她每星期都在家中举办一次音乐会，教堂乐队的领班也常到她家中拜访。这位领班是麦特尔先生，是当时巴黎小有名气的作曲家。华伦夫人将卢梭引荐给他，并拜托他教导卢梭。麦特尔先生决定让卢梭住到他家里，以便更好地教他音乐。
于是卢梭从华伦夫人家搬到了麦特尔先生那里，他有些舍不得离开他的“妈妈”，不过这是为他的未来着想，何况两家离得并不远，卢梭可以随时回去看望华伦夫人。此后，卢梭和音乐家及合唱团的儿童们生活在一起，终日沉浸在歌唱的天地里。这种生活很自在，但卢梭仍然很守规矩，虚心努力地学习。这段生活留给卢梭最深刻的印象是音乐会的练习、合唱时的歌声、儿童班的歌唱、神父祷诵时穿的服装，以及唱诗班的帽子。卢梭经常带着他的笛子，坐在乐队旁边，尽情地吹奏。
冬季的某一个夜晚，大家聚在麦特尔先生家中的壁炉周围取暖，忽然听到一阵敲门声，女佣前去应门。进来的是一位少年，他自称是一位法国音乐家，因经济困境而四处奔波，很想在附近的教堂任职。麦特尔先生本身是法国人，所以他觉得这位年轻的音乐家很亲切，他热情地招呼他。卢梭则在一旁观察这个年轻人，他看到这个人容光焕发、精神愉快，说话也很流利，从他的谈吐中，可以知道这一定是个受过良好教育的青年。他说他的名字是王特尔，刚离开巴黎，本来准备到格勒诺布尔投奔一位亲戚，不想却在这里迷路了。
晚餐时，大家围绕音乐展开了话题，王特尔的言谈非常动人，他提到了许多音乐大师、音乐名著以及许多著名的男女演员，他描绘逼真，就如同他曾亲身体验过一般。卢梭对这个年轻人特别感兴趣，因为他有知识、有才能。
安纳西教会在当地很有地位，主持者都是神学家和一些出身贵族的人，想要入会可不是件容易的事。而且这些牧师、教士们自视甚高，对雇用来的人从不正眼相看，不礼貌的对待时有发生。他们对麦特尔先生的态度也很冷漠，其中唱诗班的领班牧师对麦特尔先生更是极为轻视。
这一年圣诞节的宗教聚餐，麦特尔先生不但没有被邀请参加，还受到了教士们的责难。麦特尔先生决定离开这里。他去向华伦夫人辞别时，华伦夫人极力挽留他，但他去意坚决。华伦夫人和卢梭只好帮助他打点行装。卢梭自然是要为他送行的，他与仆人安格一起护送麦特尔先生到了里昂。到里昂的第二天，麦特尔先生突发急病，没有知觉，口吐白沫。卢梭赶紧叫来了医生，经过救治后，麦特尔先生才慢慢苏醒，卢梭这才回到安纳西。
身为音乐家
卢梭返回安纳西时，华伦夫人已经因为要事去了巴黎，这使得卢梭非常失望，他一方面惦念着患病的麦特尔先生，一方面因为见不到华伦夫人而焦虑。无奈之下，他只好留在安纳西，等待华伦夫人回来。
卢梭先去探望了王特尔先生，王特尔现在在当地已经大受欢迎，很多贵妇人都对他倾心不已。王特尔殷勤热情地招待了卢梭。为了能跟随王特尔研习音乐，卢梭请求与他共同居住，王特尔欣然同意。
他们一起租了一个房间，房东是一个鞋店的主人，诙谐有趣，极为幽默。他常戏谑地称呼自己的妻子为“懒妇”，夫妻俩经常吵嘴，王特尔总是去当和事佬。这样四个人生活在一起，难免会发生很多趣事，卢梭常被逗得开怀大笑。
华伦夫人那里只有女佣曼勒在看家。卢梭时常去看望她，她是个性情和善、平易近人的女孩。她有很多同伴，其中有一位日内瓦姑娘，对卢梭颇有好感。其他的几位女伴对卢梭也十分客气，都把他当做自己的朋友看待，大家相处得很融洽。
有一天清晨，卢梭到田野中去看日出。那天日光柔和，田野上满是各种争奇斗艳的野花，黄莺优美的歌声从不远处的树林里传来。面对如此美丽和谐的大自然，卢梭不自觉地越走越远了。
不多久，他走到溪旁的树林里，忽然听到后面传来嗒嗒的马蹄声和女孩子说笑的声音。卢梭回头一看，原来是他认识的姑娘——格兰芬小姐和加蕾小姐。格兰芬是瑞士人，长得很漂亮，她不知道因为什么背井离乡来到这里，她与加蕾是好朋友，住在加蕾家。两个人相亲相爱，情同姐妹。加蕾比格兰芬小一岁，长得更是美丽文雅，天生丽质。她们要到一栋别墅去，但是马不肯涉水，于是叫卢梭帮忙。卢梭想鞭打那匹马，又怕被踢，而惹得两个姑娘担心。他另想了一个方法，他手执加蕾那匹马的缰绳，牵着马渡河，一匹马在前引导，另一匹马自然就跟随了。这样渡过小溪后，卢梭向她们告辞。
格兰芬很善良，她建议卢梭跟她们去那栋别墅，把弄湿的衣服烘干。卢梭看着她们，仿佛对两位姑娘的邀请有点局促不安，略带羞涩地点头答应了。她们见他憨厚的表情不禁笑了起来。
卢梭上了格兰芬的那匹马，坐在她背后。沿途风光明媚，又有两位姑娘一起谈天说地，卢梭异常兴奋。到了别墅，他的衣服早已被风吹干了，格兰芬和加蕾亲自下厨准备午餐。
用完午餐后，他们便一起到果园里摘核桃。这天过得悠闲愉快，无拘无束，直到黄昏，他们才动身回家。这次愉快的经历舒解了卢梭因为思念华伦夫人而产生的郁结。
曼勒许久没有收到华伦夫人的音讯了，她短时间内应该不会回来。曼勒有意回故乡看看，她希望能有一个人跟她同行，便邀请了卢梭。卢梭对旅行一直满怀兴趣，而且这次旅行只需要几天的时间，于是欣然答应陪同曼勒。
曼勒在路上一直很照顾卢梭，偶尔也调皮地模仿卢梭说话的声调和动作，这为旅途增添了不少愉快的气氛。
路经里昂，卢梭顺道去探望他的父亲。卢梭已经有好长一段时间没有和父亲见过面了，这次相见，父子二人不禁百感交集。卢梭的泪水更是夺眶而出，他与父亲相拥良久。心情平复下来之后，卢梭对父亲述说了自己对音乐的兴趣，以及成为一名音乐家的志愿。父亲看到儿子已经长大成人，并且有了自己的志向，自然十分高兴，说了很多鼓励他的话。
数日后，卢梭和曼勒平安抵达目的地。卢梭受到了曼勒家人的热烈欢迎，次日一早，卢梭便动身返回安纳西。
回程时，卢梭想转道洛桑，因为那里可以欣赏到美丽的湖光山色。卢梭喜爱自然的本性终其一生也没有改变，虽然四处漂泊，居无定所，但大自然的美景总能带给他无与伦比的快乐，能抚平他心中的伤痕。
行至洛桑，卢梭回忆起在麦特尔先生家遇到王特尔的情景，他萌生了教授音乐的想法。于是卢梭决定先找一间旅舍安顿下来。他听说一位塔罗先生，据说他乐善好施，经常留过路的旅人过夜。卢梭前去拜访他，并对他说明了自己的身世。塔罗先生是位好心人，答应替他介绍学生，并承诺可以等卢梭日后有了收入再付房租。卢梭非常感激塔罗先生的善心，他的音乐生涯算是正式开始了。
之前卢梭在麦特尔先生家中学习音乐，那六个月时间里，他学到了很多，同时他又对音乐有着浓厚的兴趣。他准备在洛桑施展自己在音乐上的才华和抱负。卢梭以前学过作曲，便以作曲家自居。数日后，卢梭听说洛桑有位法学教授特雷拜伦先生，他酷爱音乐，经常在家里举办音乐会。卢梭决定去拜访他，希望能获得他的青睐。
特雷拜伦先生请卢梭作一首音乐会演奏的曲子，卢梭很高兴，花了15天时间作了一首交响曲。经过誊正、删改后，他把曲子交给特雷拜伦家中的那些音乐宾客。这首曲子沿用了王特尔教他的风格和技巧，卢梭希望能收到特殊的效果。
音乐会不久后就准备妥当，来了很多宾客，他们都要试听卢梭的新曲。卢梭首先向席上的宾客说明了音律和形式，然后站在指挥台上，手执指挥棒指挥起来。可惜音效异常地混乱，不知道是那些演奏者故意为之，还是卢梭的音乐本身就没什么可取性，总之效果非常差。几分钟之后，卢梭有点慌乱了，他汗流浃背，紧张惶恐，但还是坚定地继续站在指挥台上，宾客们开始交头接耳。
有一位说道：“实在难以忍受啊！”
另一个人说：“真是难听到极点了！”
“真像是魔鬼音乐！我想捂住自己的耳朵！”另一个人接道。
卢梭的这首新曲遭到宾客们的指责，他失败了。遭到这样的打击之后，卢梭觉得自己无法再在洛桑待下去了，他便决定到纳沙泰尔去。在纳沙泰尔，卢梭很顺利地收了几个学生，继续教授音乐，生活费用也有了着落。物质生活虽不足忧虑，但卢梭心中一直惦记着华伦夫人。有一天，卢梭遇到一个老者，他看上去像是个神职人员，他说的是意大利语，但又像是某个偏僻地区的方言。卢梭与老者一见如故，和他畅谈起来。
言谈中，卢梭知道这位老人是耶路撒冷的一位主教，他到纳沙泰尔来的主要目的是募集资金，因为与当地人言语不通，他希望邀请卢梭做自己的翻译。卢梭欣然答应他的委托，于是两个人一起前往索尔勒。
到了索尔勒，他们先去拜访法国公使波尔侯爵。波尔侯爵曾经担任过驻土耳其公使，对耶路撒冷的情况比较了解。老主教与公使交谈了一会儿，因为公使通晓多种语言，所以卢梭并没有介入他们的交谈。一刻钟之后，老主教出来了，公使希望与卢梭谈谈。他询问了卢梭的家境和生平，他看到卢梭态度诚实，言语恳切，就将他引见给了自己的夫人。公使夫人见卢梭聪慧灵敏，非常喜欢他，便挽留卢梭留在公使馆做事，也免得跟着老主教四处奔波。卢梭非常感谢公使夫人的厚爱，答应留下来。
公使秘书马丁先生领着卢梭到一个房间，对他说道：“这房间曾经的主人是一位伯爵，他和你同姓。如今你就住在这里吧，希望将来你能有比他更伟大的成就。”
这番话对卢梭而言是一种很大的鼓励，卢梭住下后，决定把房间里的书都阅读一遍，在那之前，他先写了一首赞誉公使夫人的诗，以表达自己内心的感激。
卢梭很勤奋地在公使馆工作，馆内的一名翻译官先生对卢梭颇为欣赏，他对卢梭提起他有位朋友是瑞士人，在法国军队里当团长，这位朋友的侄子也在巴黎军中任职，他想找一个助手，不知道卢梭是不是有兴趣。这对卢梭而言是个好机会，何况卢梭一直很想去巴黎，于是他马上答应下来。
公使为卢梭写了一封介绍信，并给了他100法郎作为旅费，临行前鼓励卢梭一定要努力向上。由此，卢梭开始了一段新的旅程。