当地教会的一些牧师也起来反对卢梭，有的不准他去领圣餐，有的策动教会开除他，还策动民众起来和他作对。于是，在宣教的讲坛上，他被宣布为反基督的人；在民间，他被当作妖巫来驱赶。他的亚美尼亚服装恰成了辨识的标志，走到哪里他的四周都会传出叱骂之声，还不时有小石头抛来，在这种情况下，卢梭也不示弱，他仍然穿着亚美尼亚长袍出来散步。有好几次他从人家屋前走过，就听里面有人说：“把我的枪拿来，让我给他一枪。”当然这只是一种恫吓，并没有真正开枪。这时，卢梭在蒙莫朗西的邻居、房主的女儿韦尔德兰夫人来看望卢梭。这使卢梭很感动，因为他当时所处的环境急需友谊的安慰和支持。他们一起散步的时候，韦尔德兰夫人感到了卢梭所受的敌视，晚上还亲眼目睹了他的住宅受到的骚扰。于是她建议卢梭去英国居住，还愿意把她的朋友、哲学家休谟先生介绍给他。卢梭早已对休谟有敬慕之情。当时休谟在法国也很有名，通过别人的介绍和阅读他的著作，卢梭感到休谟有彻底的共和主义精神，并极为钦佩他的道德和天才。加上以前就有个朋友劝他到英国去，希望结识休谟并博得他的友谊，使得卢梭增强了去英国的念头。而休谟也已知道了卢梭，韦尔德兰夫人向卢梭讲了他如何切盼卢梭前去，以能在英国对他尽地主之谊。卢梭就把进一步联系的事宜托付给韦尔德兰夫人了。1765年初，一本名为《公民的感情》的书出现在市面上。该书极力抨击卢梭的人格、思想以及他的道德观，充满了恶毒的诽谤，尤其在他将子女遗弃在孤儿院的事情上大作文章，并极力证明他不是基督徒。这本书风靡了日内瓦，莫蒂埃的反应就更加强烈了。当地民众对卢梭的敌视犹如火上加油，对卢梭的骚扰日甚一日。
尽管有国王的历次诏令、邦议会的三令五申和本地领主与行政官员多次警告，民众还是不肯放过卢梭，只要他走在路上，向他投过来的石头就在他周围乱滚。一天夜里，卢梭被一阵突如其来的响声震醒——有人用石头砸他们的门窗。石头像冰雹似的飞到长廊里，连在那里起初还汪汪直叫的狗也被吓得不敢作声，躲到一个角落里，对板壁又咬又抓，拼命想要逃出去。卢梭赶忙起床，正要向厨房走去，突然飞来一块石头，打破了卧室的窗户，直砸到床脚下。他躲躲闪闪跑进了厨房，戴莱丝也浑身哆嗦着跑了进来，俩人紧贴着墙壁，以防被石头击中。幸亏邻居的仆人听到响声后出外求援，警卫队赶到后才阻止了这场骚乱。这时，卢梭住室的前廊已积满了石头，房主见此场面不禁惊叫道：“上帝啊，简直是个采石场了！”
事件发生后，一些头面人物来看卢梭，劝他快离开这个教区避避风头，因为他在这里再也不能安全体面地住下去了。卢梭也忍受不了这样的生活，想找个偏僻的地方隐居下来。以前他曾到过比埃纳湖中的圣皮埃尔岛上旅行过，很迷恋那里的自然风光，希望到那个岛上去居住。经过吉斯勋爵和岛上的上层人物接触，得到该岛的所有者伯尔尼人的同意，卢梭便于1765年9月中旬迁到了那里。
圣皮埃尔岛不大，周围约半法里，但能出产和提供生活的主要必需品。岛上有农田、草场、果园、树林、葡萄园，它们分布在起伏多变的丘陵上，互相掩映，使人不能把整个岛一览无遗，所以看上去比实际要大。到了收获葡萄的季节，人们每星期天从邻近的湖岸聚集到这里来跳舞、娱乐，而平时则十分宁静。卢梭觉得在这个岛上居住十分理想，可以与世隔绝，让自己更能陶醉于闲散与沉思生活的甘美之中。初到岛上，卢梭马上就面临生活困难的问题，这里粮食既贵，运输又困难，生活费用就很高。不过每逢自己毫无办法的时候，就有一位幸运之神前来帮助。一位叫贝鲁的先生与卢梭达成了一项协议，由他代替了先前曾答应承揽，后又因为《山中来信》的风波而放弃印行卢梭全集的书商。卢梭把出版全集的一切材料都交给他，由自己担任整理和安排这些材料的工作；卢梭还答应将来把自己的回忆录也交给他，不过规定他只能在卢梭死后加以利用，因为此时卢梭一心只想安安静静地了却余生，不愿再让社会想到他。根据这个协议，贝鲁先生负责支付卢梭终身年金，用它就可以解决卢梭自己的生活问题了。另外，还有吉斯勋爵的资助及其他收入，即使卢梭死后，戴莱丝的生活也没有问题。
生活方面有了保证，卢梭心里就踏实了。对那些诬陷和仇视他的人，也用宽容的心情来对待，他认为所做的一切都是经得住检验的，可以把自己的一生交给他们去进行批判。他确信通过自己的许多过失和软弱，通过他不能忍受任何羁绊的本性，人们总会发现一个正直而善良的人。他无怨无艾，不嫉不妒，勇于承认自己对不起别人的地方，更容易忘记别人对不起自己的地方。他只在缠绵温厚的感情中寻找他的幸福，对任何事都真诚到不谨慎的程度，真诚得令人难以置信的忘我程度。卢梭以平静的心态审视着自己的过去，他意识到：浪漫盘算的年龄过去了，剩下来的只有最后一个希望，那就是无拘无束地在永恒的懒散中过日子。
当然他所向往的懒散，不是一个游手好闲者终日无所事事，而是儿童式的闲逸：他不停地活动着，而又什么也不做；或者说是胡思乱想者的闲逸：浮想联翩，而身子却在呆着。这种心境下的卢梭，常忙一些无所谓的小事，什么都做一做，什么都做不完。有时，他长时间盯住一只苍蝇看它的一切动作，有时又恨不得搬起一块岩石，想看看底下到底有什么东西。卢梭一向爱水，而小岛上四处可以见到水。每次一见到水，他就沉入那滋味无穷的遐想。天气晴朗的时候，他一起床就跑到西部一块地势较高的平台上去，呼吸早晨那清新的空气，极目远眺湖对岸的天际，湖岸和沿湖的山岭构成了一片赏心悦目的景色。
当然，他也还做一些他以前做惯了的事情，像写信、整理一下书籍和文稿。《忏悔录》的第一章就是在这里写成的。在这里，他最用心做的就是研究植物学。他对小岛上的植物产生了浓厚的兴趣，以至于把整个岛当作一个植物园了。每当需要进行观察或验证一种植物时，他就跑到树林里或草地上去，胳臂下夹着一本书，到那里就在他要研究的植物旁边躺下，从从容容地观察植物生长的状态。
下午的时间，他就不做这些事情了。常常独自跳上一只小船，任凭它由风吹水推，自己沉醉于无目的的遐想之中。有时候心头一热便叫出声来：“啊！大自然啊！我的母亲啊！我现在是在你单独的守护之下了，这里绝没有什么奸诈邪恶的人插在你我之间了。”
卢梭和戴莱丝寄宿在岛上的惟一住户、医院的出纳员家里。出纳员的妻子和常到她家里来的她的姐妹对戴莱丝很好，卢梭也常和她们一起散步。人与人之间关系和谐，加上美好的自然风光，卢梭感到生活无比幸福，恨不得就在这甜美的生活中度过自己的一生。
可惜好景不长！卢梭在岛上只住了两个月，伯尔尼议会就下达命令，要他搬出这个岛并离开他们的辖境。在寒冷的冬季到来之际，驱逐一位体弱多病的老人出境，实在有违人道。气愤之下，卢梭恨不得立刻就走。但毫无准备，走到哪里去呢？无论他逃到什么地方，有人不是煽动民众反对他，就是用公开的强制的办法驱逐他。这一连串的灾难，已使他心灰到了极点。
正在他无计可施的时候，伯尔尼邦又来了一个更加残酷的补充性命令，限他在24小时之内离开岛屿和该共和国的一切直接或间接领土，永远不得重来，否则定予严惩。一向对卢梭爱护备至的吉斯元帅及时了解到卢梭的遭遇，邀请他到柏林去，卢梭让戴莱丝为他看守书籍和衣物，在岛上过冬，把文稿交给了贝鲁，第二天早晨就朝着柏林出发了。卢梭离开岛屿来到比埃纳时，遇到了不少邻近地区闻讯来看望他的人。其中有个年轻人劝卢梭到他那里落脚，说那里虽属于伯尔尼邦，但它是个自由市，不接受任何人的法令。而且这个名叫韦尔得勒迈的青年的家庭在该市享有最高的威信，他要代表那里的公民欢迎他，希望在那里看到卢梭忘掉过去受到的种种迫害。法国大使馆秘书巴尔泰斯先生也劝卢梭住到比埃纳市。在不少人的挽留下，卢梭决定在比埃纳留下来，至少住到开春。
那个叫韦尔得勒迈的年轻人给卢梭找到了房子，那是第四层楼的后楼一个小房间，很不像样。他住下来后，就再也看不到挽留他时人们所表现的那股热情了，到处都是冷冰冰的面孔。住下来不到3天，卢梭就发现那里正酝酿着一场针对他的可怕的骚乱。有人还告诉他，又要把他从比埃纳市驱逐出去了。这时候，原先那些坚持留他住下来并保证他不受扰乱的人一个也见不到了，卢梭又一次陷入孤立无援的悲惨境地。幸亏尼多的法官及时赶到，送给卢梭一份以他的名义签发的护照，好让卢梭自由地穿过伯尔尼邦边境。卢梭费了很大的劲才找到一辆车，离开了那个使他伤心透了的地方。离开比埃纳后，卢梭没有去柏林和吉斯勋爵会面，而是辗转多处，与戴莱丝会合后，于1766年1月来到英国伦敦，住到了著名哲学家休谟先生家里。
卢梭和休谟早就互相敬慕，见面时都很高兴。但相处在一起时却很少有共同语言。卢梭后来还发现，休谟和自己在法国的那些敌人有交往，本来就多疑敏感的卢梭，把休谟看成了阴谋反对自己的代理人之一，甚至把好心帮助他来到英国休谟家的布弗莱和韦尔德兰两位夫人也都看成是参与迫害他的阴谋家了。他认为两位夫人之所以劝他到英国来，只是为了帮助他的仇人更好地监视他，而休谟是与在法国跟他为敌的那些哲学家（指狄德罗、霍尔巴赫等）串通一气的。经过多年的颠沛流离，接连不断地受到攻击和敌视，卢梭精神上受到极大的摧残，患上了“被迫害狂症”，其特点是疑心极强，仿佛周围的一切人都想迫害他。连帮他出版《爱弥儿》的卢森堡夫人后来他都怀疑。他的这种病症早在几年前就种下了病根，其表现为，即使在宁静惬意的环境里，也是忧心忡忡地担心灾难随时会降临，像在圣皮埃尔岛上那些日子里，总有被撵出岛的预感，精神上摆脱不了担惊受怕的重负。到英国时他的被迫害狂症进一步加重，带着怀疑的心态和休谟相处是不会和谐的。休谟不知道，也难以体谅卢梭的心态，后来又把卢梭精神错乱的秘密告诉了法国百科全书派的哲学家们，这就更使卢梭对他产生了不可和解的仇恨。不久，卢梭离开了伦敦，迁往英国另一个城市伍顿。在那里，他继续写作《忏悔录》，到当年年底完成了第一章到第五章的前半部分。这时外界传闻有人策划焚毁这本书，卢梭非常担心，便想离开英国到别的地方居住，还想回到欧洲本土；戴莱丝表示赞同，因为她母亲已经去世，需要她回去料理后事。卢梭要返回本土的消息在欧洲传开后，不少人给他写信，表示愿意提供住处，这使卢梭深受感动。1767年初，卢梭整理行李，将多余的书变卖，以减少旅途的负担。卢梭的朋友培鲁先生介绍他和戴莱丝去史泊丁城投靠塞吉先生，他们在那里没有停留多久，于1767年5月初抵达英国东南部的多佛港，准备乘船前往法国的加莱港，但当天遇到风暴，轮船无法启航，第二天他们到达了加莱港，结束了近5年的国外逃亡生活。