这场浪漫的爱情故事结束以后不几天，卢梭就被先前他游览都灵时，曾经住过的那家女房东介绍给维尔塞里斯伯爵夫人服务。她是个没有孩子的寡妇，年近中年，容貌高雅，又很有才华，心灵既高尚又刚强，酷爱法国文学，而且相当精通，能说一口纯正的法语；爱好写作，而且总是用法文写。但由于她胸部长了一个肿瘤，不能亲自执笔，所以雇用卢梭记下她的口述。她在疾病折磨时所表现出来的忍受痛苦的坚强意志，使卢梭十分佩服。这种刚强的性格，往往又近于冷漠无情，所以对卢梭的态度也很冷淡，从来没有向他说过一句表示好感、怜悯或亲切的话，只以对待仆人的样子对待卢梭。看到维尔塞里斯夫人病情日重，临近死亡，她的亲朋和家仆们便争先恐后地向她献殷勤，为的是想多捞些好处，而不让卢梭接近她，惟恐卢梭会得到夫人的好处而损害他们的利益。夫人本来喜欢写信，他们害怕卢梭作笔录，夫人最后写遗嘱时，也不准卢梭进入房间。尽管如此，卢梭对夫人忍受病痛的坚强精神极为钦佩和敬爱，并在暗地里流下了许多同情的眼泪。
夫人终于去世了。卢梭眼瞧着她咽气，目睹了她生命垂危之时仍表现出来的快乐的表情，他很受感动，在她身上感到了天主教的可爱。
尽管卢梭几乎一无所得地离开了夫人家，然而他还是神不守舍地犯了一个一生都弥补不了的错误，并从此带上了难以磨灭的罪恶感和难以忍受的良心谴责。
一个家庭的瓦解，难免会发生一些混乱，在混乱的情况下丢失一些东西本是在所难免的。卢梭偷了一条已经用旧了的银色和玫瑰色相间的小丝带子，他还没把它藏好，就很快被人发现了。问他是从哪里拿的，他立刻慌了神，结结巴巴说不出话来，最后，他红着脸说是马丽永给的。马丽永是个年轻漂亮的厨师，她不仅和善诚实，而且温和质朴，人们难以相信是她所为。当被叫来对质时，卢梭竟一口咬定是她给的。可怜的姑娘哭了，她只是对他说：“唉！卢梭呀，我原以为你是个好人，你害得我好苦啊！我可不会像你这样。”她是多么冷静、温和啊！相比之下，一方是无耻的大胆，另一方又是天使般的温柔。谁是谁非一时无法判明，由于当时的纷乱，没有时间进行深入了解，俩人就一起被辞退了。
从此以后卢梭没有一天不受到良心的谴责，他一想到这个被他诬陷的姑娘，由于蒙受莫须有的罪名，而使她各个方面都名誉扫地——不仅偷东西，而且还利用偷窃来诱惑一个年轻孩子；既说谎又坚持错误。这不仅使她陷于贫困和被遗弃，甚至会由于无辜受辱而感到绝望。这种残酷的回忆常使卢梭苦恼，以至从苦恼到睡不着觉，仿佛看到可怜的马丽永前来谴责他的罪行。这件事他从未向任何人坦白过，这种沉重的负担一直压在他的良心上。当卢梭晚年写《忏悔录》时，才把事情的原由和盘托出，以求稍稍摆脱这种良心上的重负。其实卢梭当时恰恰是由于心中喜欢马丽永，而想偷那条丝带送给她，当被人追问时就不加思考地说是她给的，结果害了她。当这个不幸的姑娘被叫来时，卢梭怕丢脸甚于怕死亡、怕犯罪，所以才不敢当着众人的面承认是小偷，而成为一个说谎者和诬陷者。如果容他冷静一下，他也许就会毫不隐瞒地和盘托出。然而结果却使他犯了一个永远也无法弥补的过错。这件事也对卢梭的后来产生了一个好处，那就是使他以后永远也不会做出任何一种可以导致犯罪的行为，使他即使遭受不幸也能始终保持正直和诚实。卢梭在维尔塞里斯夫人家结识的朋友盖姆先生，也给过他不少终身受用的教益。他是一位神父，为人正直，品德高尚，也很有学问。他很欣赏卢梭的才华，告诫卢梭要经得住逆境的考验。他告诉卢梭没有美德就毫无真正的幸福；他还削弱卢梭对达官显贵的爱慕，指明统治别人的人并不比别人更贤明，也不见得比别人更幸福；他还教给卢梭一些人生哲理。这些教诲使卢梭对德行有了真切的概念，对他的道德观和宗教观都有很深远的影响。他也真心敬仰和热爱这位盖姆先生。后来他写作《爱弥儿》时，其中道德高尚的助理司铎就是以盖姆先生为原型的。
离开维尔塞里斯夫人家后的一天，夫人的侄子罗克伯爵派人来叫卢梭。伯爵赏识他的才干，给他找了一个工作，是到一个名门望族家做事，这使卢梭很感意外，而且告诉卢梭，他去的是古丰伯爵家里。这位伯爵是王后的第一侍臣，也是显赫的索拉尔家族的族长。
卢梭被送到了古丰伯爵家，这位尊敬的老人亲切地接待了他，并一眼就看中卢梭是个有才气的年轻人，鼓励他好好干。他做的工作虽然和仆人差不多，但并没有被指定服侍某一个人，只是在别人的口述下写写信，有时给伯爵的孙子剪几张画纸，其余的时间就由他自己支配。卢梭把分给自己的工作干得很出色，处处表现出勤勉、细心和热情，使大家都很满意。他有时抽空到盖姆先生家接受指导，盖姆先生明智地教导他要持之以恒，千万不要虎头蛇尾。
有一天，伯爵家举行大宴会，没想到卢梭的学识在这样的场面得以展露，使他身价倍增。席间有人见壁锦上绣有索拉尔家族的一句铭文“TeI fi ert gui ne tue pas”，竟说“fi ert”这个字拼错了，多了一个字母“t”。古丰伯爵正想回答这个问题，但是，当他看到卢梭微笑着却什么也不敢说的时候，就叫他代替回答。于是卢梭立即说：“我不认为这个‘t’是多余的，因为‘fi ert’是一个古法文字，并不是从名词‘ferus’（尊大；威赫）来的，而是从动词‘feri t’（他打击，他击伤）来的；所以这个题词的意思，据我看并不是‘威而不杀’，而是‘击而不杀’。”
听到年轻的卢梭把道理讲得这么明白，大家惊奇得好一阵子说不出话来，接着又一齐开口称赞他，尤其是伯爵给了他很高的评价，就连和他年龄相仿、肤色莹洁过人的伯爵孙女布莱耶小姐的脸上也对他露出了满意的神色，这使卢梭感到非常快活。
老伯爵在当天晚上和卢梭谈了许多关于学习的事。伯爵的儿子古丰神父也很喜欢他，主动提出要帮助卢梭补习拉丁文。后来他从受过高等教育的古丰神父那里受到了文学的熏陶，也学到了不少知识。卢梭在伯爵家里几乎争取到了每个人的重视，都把他看成是一个最有出息，而现在正被大材小用的青年。当人们正期待他得到一个适当的位置，以便可以飞黄腾达的时候，而卢梭却与一个叫巴克勒的小伙邂逅相识，中断了在古丰神父那里的学习和生活。
巴克勒是一个非常有趣、十分活泼、满嘴都是诙谐的俏皮话的青年。卢梭喜欢他到了难分难舍的地步，甚至连神父和伯爵那里也不去了，因此他受到了解雇的威胁。此时巴克勒正要回日内瓦，卢梭也想一起前往作一次愉快的旅行。一想到沿途那些山峦、原野、森林、溪流、村落等大自然的美景卢梭就兴奋不已，他哪里还听得进去伯爵及其家人的婉言相劝。就这样他和巴克勒一起上路了，他毫不惋惜地抛弃了自己的保护人、教师、学业和前途，一心钟情于漂泊旅行生活的幸福而上路了。然而他们一起走了好长一段路，看了好多地方并没有出现他想象中的那种奇遇，旅行生活仍然显得平淡无味。这一天，他们来到了安纳西城门口，巴克勒知道卢梭在这里有一位关系非同寻常的女友，就知趣地告别了卢梭自己走了。从此卢梭再也没有听到他的消息。他与卢梭的结识和友谊总共不过6个星期，然而却影响了卢梭的一生。
卢梭来到安纳西后就想起了华伦夫人，其实他这次回来的目的也多半是因为华伦夫人。他把华伦夫人的家看成了自己的家，也确从华伦夫人的慈爱中得到了母亲般的温暖（华伦夫人比他大12岁）。卢梭刚到古丰伯爵家时曾经给她写过信，她知道卢梭在那里的情况，也给一些明智的劝告：只要他自己不犯错误、毁坏自己的前途，他的鸿运算是走定了。但是这次回来，卢梭不知道华伦夫人对自己放弃美好前途会怎么看，担心她会为自己伤心。然而一想到马上就要见到华伦夫人，卢梭心里激动异常，他不得不停下脚步，让呼吸和心跳恢复正常。卢梭一来到华伦夫人面前，她的神情就使他放下心来，刚一听到她说话的声音就一下扑倒到她的膝下，在极端欢喜的狂热中，把嘴贴在她的手上。华伦夫人以温柔的口吻说：“可怜的孩子，这么说，你又回来啦！我知道你太年轻，不能做这样的旅行；我很高兴，事情至少还没弄到像我所担心的那种地步。”她又问了一些卢梭的近况，便和侍女商议卢梭的住处。卢梭得知被安置在华伦夫人家里，原来作外客厅的房间作了他的卧室，他真是高兴极了。
从他住进这里的第一天起，华伦夫人便称他为“孩子”，卢梭则称她为“妈妈”。这种称呼最恰当地表达了他们之间亲密的、淳朴的关系。这种关系使卢梭获得了甚至超过爱情的感觉。在卢梭看来，这种感觉或许没有爱情那么强烈，但却比爱情要甜蜜千百倍；这种感情也不是单纯的友情，而它比友情更强烈，也更温柔。只要待在她的身边，他便感到无尽的甜蜜和幸福，即使待上一辈子也不会觉得有一点点厌倦。卢梭对华伦夫人的迷恋已经达到了疯狂的程度。他一刻看不到她就心里惶惶不安、痛苦异常。每当他想到与她一起生活的幸福日子不会长久，便心中充满忧伤；每当想到自己这张床曾被她睡过就一遍遍吻这张床；想到屋里的一切家具和窗帘她都用手摸过，他就一次次地吻这些东西。这就是卢梭，这就是卢梭的浪漫。
卢梭对华伦夫人让他干的工作并不感兴趣，如草拟计划、誊写账目、抄写药方之类。除了这些杂乱事务之外，还要接待许多过路客人、乞丐及各种各样的来访者，如士兵、药剂师、教士、贵妇人、修道院的杂役等等，华伦夫人都愉快地接待。卢梭虽然不喜欢他们的来访，有时还生气，但他从她的好客性格中也获得了不少乐趣。华伦夫人有限的经费有不少都花在了这些人的身上。
除了这些事情外，卢梭并没有放弃读书的嗜好。古丰神父曾教他读书不要贪多，而要多加思索，使他获益匪浅。他有时在华伦夫人身边朗读，并一起谈论他所读过的书。华伦夫人是一个有教养的天资聪慧的女人，爱好文学，对优秀的作品有很好的鉴赏能力，所以他们能谈得很投机。她是在上流社会成长的，年轻的时候就来到了萨瓦，由于经常和上流人士交流，所以她很懂得人情世故，使爱好空想的卢梭从中获得了一些处世经验。
虽然华伦夫人对卢梭的评价相当高，然而她的一位亲戚奥博纳却这样认为卢梭：尽管外表很好，看起来仪表堂堂，神采奕奕，但却没有多大才华和思想，知识也不丰富，日后最多只能做一个乡村神父。华伦夫人为卢梭的前途着想，决定送他到神学院读书。卢梭不愿离开华伦夫人，但这是亲爱的妈妈的提议，他不得不服从了。卢梭就像赴刑场一样去了神学院。神学院真是一座阴森的处所，特别是对于刚从一位可爱的女人家里出来的人尤其感到阴森可怕。但卢梭临行前恳求华伦夫人送他一本乐谱，作为暂时别离妈妈的纪念物，实际上他想借此机会好好学学音乐，不辜负她曾多次教他唱歌的美意，这样就给卢梭带来了无限的慰藉。
在神学院中，卢梭学会了几首歌曲，但主课方面进步很小。这也许是他学习上的一个特点：很难从老师那里学到什么，主要靠自学来增长知识。这种情况使神学院院长都失去了信心，他们认为卢梭无法去做神父，便将他送回了华伦夫人家里。
华伦夫人见他拉丁文虽然没有学好，音乐上却有长进，就想把他培养成音乐家，便把他介绍给大教堂的乐师、优秀作曲家、年轻的勒·麦特尔。他们一见如故，卢梭就搬到他家跟麦特尔学起了音乐。