谢安寓居东山，放情丘壑，言咏属文，教养子侄，时间过得很快，不觉六年过去了，巨宅始宁园也宣告完工。和名僧支遁、名士许询畅谈，不亦快哉！而此时的谢安名声日上，《晋书·谢安传》载：“时安弟万为西中郎将，总藩任之重，安虽处衡门（意指隐居），其名犹出万之右。”所以还不时有京城名士前来拜访。一次，名士孙绰、刘惔（谢安妻舅）前来会稽，见到越中山水，硬让谢安准备大船出海游览。那天，风和日丽，波澜不惊，海鸟时而飞翔，时而栖息。停泊在曹娥江边的大船就载着谢安、孙绰、刘惔和许询等十几个人，顺流而下。迎着海风，引得众名士诗兴大发，或手击船舷，放声吟啸；或极目远眺，指点江山；或把酒临风，心情彭湃；或倚首低回，若有所思。这样时行时息，在海上漂泊了两个多小时。渐渐地天空聚起了黑云，海风一阵比一阵强烈，慢慢地狂风掀起了滔天巨浪，把个大船忽儿推向浪峰，忽而又跌入低谷。剧烈的颠簸把船上的人吓得半死，一个个面如土色，瘫软若泥。《晋书·谢安传》说“风起浪涌，诸人并惧，安吟啸自若”。站在船头的船夫，看着那些大呼小叫，魂不附体的所谓“名士”，又看看镇定自若、方寸不乱的谢安，也不禁对谢安刮目相看了。而那些上得岸来仍长吁不已的名士，更是暗自钦佩谢安的从容与沉着。
在谢安隐居东山期间，另有一件事不仅使谢安名声大振，更是在我国书法史上留下了千古佳作，那就是兰亭雅聚和《兰亭集序》。
晋穆帝永和八年（公元352年），四十九岁的王羲之从京城建康来到会稽郡治所山阴，出任会稽内史之职。早已互相慕名的王、谢二人就在东山相会了，一番清谈后，二人都有相见恨晚之感。于是二人常常相会，与众名士一起吟诗、谈玄，后在谢安的倡导下，王羲之以会稽内史之职的名义，在永和九年三月初三那天，请来孙绰、孙统、支遁、许询、徐丰之等四十二位江左名士，聚集会稽山阴之兰亭，参与祓禊盛事。
祓禊活动在兰亭修竹掩映的小溪边进行，众名士分别交错列坐于曲水两边，曲水上游放一只两侧有耳、质地轻盈、盛着美酒的漆觞，让其顺着蜿蜒的溪水漂浮而下。觞漂到谁的跟前，谁就得拿起它，先呷了觞中之酒，然后吟诗二首，吟不出的，当罚饮三杯，这就是现在有名的“曲水流觞”。
这次曲水流觞活动，共成诗三十余首，是为《兰亭集》。后由王羲之为之作序，是为《兰亭集序》，这就是流传千古的天下第一行书。
众名士造就了这兰亭盛会，兰亭盛会也为众名士增添了光彩。兰亭雅聚后不久，孙绰去了建康当上了尚书府的领著作郎，孙统求为县令，桓伟出师北伐，王凝之（《晋书》卷八十：有七子，知名者五人。玄之早卒。次凝之，亦工草隶，仕历江州刺史、左将军、会稽内史。）出任江州刺史，他们中的绝大多数都步入仕途。只有谢安仍高卧东山，令王羲之也为之惋惜。谢安的妻子刘氏更是有所微言，认为辞官闲居非大丈夫所为。
其实，在谢安寓居东山之初，朝廷不时派人前来征辟，扬州刺史庾冰钦慕谢安名声，希望他出山辅助自己，“累下郡县敦逼”，谢安“不得已赴召”，但仅一月便告假走人。以后，朝廷先后任命谢安为尚书郎、琅琊王友二职，也被他称疾推辞了。吏部尚书范汪推举他为吏部郎，也被他写信拒绝了。谢安的屡召不至，因此御史中丞周闵奏请皇上，说谢安“违诏累载，并应有罪，禁锢终身”。面对朝廷的禁锢，谢安也只是一笑置之，国为这种禁锢毕竟不是很严厉的政治性惩罚，而且一定程度上还抬高了谢安的威望。
谢安在寓居期间，很少出东山。有一次是因父亲病亡，谢安赶回京城办理后事，并在乌衣巷家中为父守孝一年，于晋穆帝永和三年（公元347年）回到东山。还有一次是朝廷禁锢令贴到东山后，谢安曾带着仆人到浙江临安县境内的一座大山中，在一间石室中住了几天。当时谢安端坐石室正中，喟然叹道：“入住此洞中，离伯夷就不远了。”不知谢安当时是何种心境。其余时间谢安均在东山游弋山水，教养子侄。身在东山，但无时无刻不在关注着朝廷的动态，这从他跟王羲之的谈话中可以看出。那次王羲之刚任会稽内史之职，听说谢安在此隐居，特意赶来，言谈之中流露出对谢安隐居不仕的惋惜。谢安就说：“逸少兄之苦心，我当铭记在心。桓温首次北伐，出师不利，军至灞上，百姓感泣，老幼出门劳军，可谓大获成功。然而桓温却没有乘胜而进，临灞即收兵，可见其意不在收复失地，而在扩大自己的声威。现作为晋室屏障的豫、扬、荆、徐四州，尚在我堂兄谢尚镇守中，桓温就难以插手朝廷。因此他会对我谢家另眼相看，如果这个时候出仕，不是让桓温为难吗？”可见，隐居不假，但在待时而动，真正韬光养晦啊！
谢安优游林下，教导子侄，弹琴写字、吟诗作文，潇洒自然、雍容闲适胜过神仙，“如此纵情山水，以敷文析理自娱凡二十年”。
晋自永嘉五年（公元311年）六月，西晋王朝首都洛阳倾覆之后，中原大部分地区就陷入胡人之手，晋王室、贵族纷纷南迁，后在司马睿的统领下于公元317年在建康建立东晋王朝。尽管建康为江南胜地，但无论是东晋王室还是南迁贵族都把北伐、收复失地当作中心话题。前有“闻鸡起舞、击楫中流”的祖逖，后有庾亮、庾冰、殷浩等朝廷大臣、方镇大员，但均以失败而告终。尤其是顾命大臣殷浩，以一颗赤子之心，于晋永和五年、六年、九年连续三次北伐，试图收复失地，但天不遂人愿，国库耗损严重却毫无建树，引起朝廷不满，终被罢免职务。
城门失火，殃及池鱼，作为殷浩前军督统的谢尚自然也受到了牵连。谢尚一直将振兴家族的重任看得高于一切，自己的失利将使家族蒙受羞辱，对此他深感痛惜，同时十分注意家族的其他为官的弟弟们，希望在这个节骨眼上千万别有什么差错。为此，他注意到谢万狂傲不羁的个性，也为之深深地忧虑。
而当时方镇荆州的桓温势力越来越强，觊觎朝廷之心日露端倪，曾十余次向朝廷上奏，力主把国都从建康迁往洛阳，但鉴于京城的门户豫州由谢尚掌管，无法达到要挟朝廷的目的。现在谢尚受殷浩牵连，于是桓温上表朝廷准备派谢尚督军洛阳，目的是为了将谢尚调离豫州，但被谢尚识破，借身有疾患没有到位。万万没想到竟弄假成真，不久，谢尚还真的病亡了。继任的谢奕，即谢安的兄长，也不久病逝。朝廷对谢家的臣节可谓深信不疑，又让谢万出任豫州刺史。
正如谢尚所担心的那样，谢万不谙政务、任性高傲，不会笼络人心。开始那些将士看在谢尚的分上，都对他敬畏有加，但渐渐地实在看不惯谢万的趾高气扬、骄纵跋扈，将帅关系非常紧张。后在一次出征中又因谢万的临阵脱逃而被朝廷罢黜。
接二连三的噩耗传到上虞东山，始宁园笼罩在一片沉闷的气氛中。此时的谢安很清楚自己身上的责任，他便设家宴、邀宾客，谈史事、谈玄理，席间更是谈笑风生、若无其事，使得子侄辈受到感染，气氛有所好转。
再说桓温好不容易得到了一个机会可以扳倒谢家，从而谋取豫州刺史这一职位，但朝廷的任命还是让他大失所望，出任豫州刺史这一职位的是庾氏旧部袁真，而不是桓温所希望的桓冲（桓温的弟弟）。既然扳他不倒，何不为我所用，桓温想到了大名士谢安，于是以征西将军的名义，上表请辟谢安为征西司马。
家族地位受损，国家又多危机，“建元之后，时政多虞，巨猾陆梁，权臣横恣。其有兼将相于中外，系存亡于社稷，负扆资之以端拱，凿井赖之以晏安者，其惟谢氏乎”！因此，朝旨一下，谢安便一口应承了下来，辞别家人，走出东山，乘船赴任而去。这已是晋穆帝升平四年（公元360年），那年谢安四十一岁。
谢安先到京城，拜会了亲朋故友，然后再向荆州出发。临行前御史中丞高崧酒酣耳热之时戏谑谢安道：“卿屡违朝旨，高卧东山，朝野之士皆谓‘安石不肯出，将如苍生何’？今安石赴任桓府，苍生又将于卿何？”说罢哈哈大笑，意多讽刺。谢安不以为然，从容应对。
桓温不但是一个清谈名士，更是一位有所作为的将领。他多次进行北伐，一度收复洛阳，在复兴晋朝的事业中发挥着重要作用。桓温在朝中更是威名赫赫，掌握了朝政大权，可说是翻手为云，覆手为雨。谢安的赴任，一是为了缓和桓、谢两家的矛盾，二是在这个不甘平庸的权臣手下干活或许能一展自己的抱负。而桓温对谢安的到来更是喜出望外，屡召不就的谢安竟屈就桓府，这不是给桓温很大的面子吗？于是对谢安也是格外敬重。
一日，桓温一早来到谢安门外，有事咨询谢安，正逢谢安早起洗漱，久不见出，仆人在外高声喊道：“谢司马，桓元帅在外等候，快取帻巾。”桓温赶紧制止仆人，朗声道：“不必客气，请司马戴便帽相见即可。”谢安依言而出，桓温与其执手相见，坦然而谈，并时时对人说：“汝等可曾见我有如此客否？”敬佩之意溢于言表。
在未来桓府之前就听说桓温有觊觎朝廷的野心，这次到桓府后，耳闻目睹了桓温的言行，更觉得外界传闻并非空穴来风。晋穆帝升平五年（公元361年），也即谢安到桓府的第二年，晋穆帝患病而亡，因年幼无子，迎成帝长子、琅琊王司马丕嗣位，是为晋哀帝，并诏告天下。桓温从诏告文书中看出朝廷的软弱，再次上疏要求还都洛阳，并让人把上次谢尚找回的那套太乐钟送到洛阳，以壮晋室之威。朝野有识之士对桓温以北伐、迁都为由胁迫朝廷的做法早有微言，这次尚书令王述就这样代朝廷出面答复，建议桓温亲率大军，待真正“荡平区宇”后，再行迁都洛阳之事。桓温的用心再次被识破，于是在府内心情烦躁，对此谢安都看在眼里，但考虑到家族利益，只好静观事态变化。
谢万的猝亡，使谢安有了辞归的理由，于是谢安向桓温投笺求归。桓温无奈，只好同意，并置酒相送。于晋哀帝隆和元年（公元362年），谢安再次回到老家东山。
这一年，晋室也发生了诸多变故，哀帝生母太妃周氏寿终，哀帝出宫为母奔丧，让会稽王司马昱掌管内外事务。前燕慕容氏得知晋室丧事，趁机发兵。司马昱只好任命桓温为征西大将军、大司马，都督中外诸军事，并赐“假黄钺”。黄钺，是一种以黄金为饰的斧，西周以来，即为天子专用的仪仗，象征皇权与天子的威仪，一般不轻易赐予臣下，自晋践祚以来，桓温是唯一一个得到黄钺的人，尽管还只是“假黄钺”。然豫州、徐州又归于他手下，使桓温实力大增。并且桓温还拉拢了一大批有识之士，如王坦之做了桓府长史，郗超当了参军，连谢安的侄子谢玄，此时也成了桓府的掾属。
面对这种形势，朝廷也需要网罗人才以应对桓温日益强大的势力，于是想到了一向忠于朝廷的谢家和才华横溢的谢安。再加当时社会上流行着一句话：“安石不肯出，将如苍生何？”要谢安出山参政的呼声越来越高。朝旨再次送至东山，辟谢安为吴兴郡太守，限日到任。
晋哀帝兴宁二年（公元364年），谢安再次走出东山赴任吴兴太守，那年他四十五岁。后人称谢安此行为“东山再起”。
出任吴兴太守，是谢安从政生涯的真正开始。谢安也尽全力地去做好它，他借鉴了堂兄谢尚治理豫州的做法，采取了一系列相关措施，把吴兴治理得欣欣向荣。不多久，也即晋废帝太和二年（公元367年），谢安由郡守晋升为侍中，使他由地方长官进入朝廷中枢，再次来到京城，入住乌衣巷谢府。后又升任吏部尚书、中护军，政治地位不断攀升，对朝廷的影响也日益扩大。
再说桓温自从听说谢安出任吴兴太守后，心中已是不快，但无奈自己不便阻止。后谢安到京城为官，只因谢安一直采用韬晦之计，避免正面接触，即使在京城碰到，也是“见而遥拜”，让桓温感觉不到他有什么异心，也就不好对他有什么举动。晋废帝太和三年（公元368年），桓温攻打前燕时又“受挫枋头”，损失兵卒数万；加上前面几次北伐的失利，军队力量元气大伤。深自懊恼的桓温认为自己“名实顿灭”，参军郗超谏议道：“主公今年已六十岁了，北伐又未获成功，如不再建立大功，就不足以摄民望。”于是桓温、郗超商量着如何废晋废帝司马奕自立。他先借计称司马奕患有“痿疾”（即丧失生育能力），让褚太后废司马奕为海西公，立宰相司马昱为帝，是为晋简文帝。并趁机大开杀机，大力诛杀了庾、殷两大家族，以此削弱士族力量，“以长威权”。简文帝时，桓温入朝为相，辅助朝廷。一时间朝廷上下，人人自危。为保家族利益，谢安亦是忍气吞声，远远地遇见桓温时，便作出慌忙的样子“遥拜”，语气中满含讽刺劝谏地说道：“未有君拜于前，臣揖于后。”作为一介名士的桓温，虽然充满匪戾的气息，也不能不考虑到自己的身份，惊吓得连连叫谢安别这样。在那个注重清议臧否人物的时代里，他不能不在乎在朝中素来名望很重的谢安，知道来自对方的评价有着难以逾越的强大阻力。
桓温一直都不得不敬重谢安。当简文帝病重的时候，也是他上疏推荐谢安与王坦之一起担当顾命大臣。桓温手握重兵，地位也在诸王的上面，自恃功高的他认为现在正是最好的时机来名正言顺地接任皇帝，并且希望谢、王二人能支持他，这样就可以利用二人的名望来扫除登基的障碍。但是依谢安的心思，肯定不会赞成他取代司马氏，因为如果那样的话，国家将免不了一场权力纷争，内乱又起。公元372年，简文帝病死后，遗诏中当然就没有提出禅位给桓温，反而要桓温效法诸葛亮辅佐幼主。桓温十分失望，猜测是王坦之、谢安做了手脚，“心衔之”，必欲除之而后快。
宁康元年二月（公元373年），桓温从姑孰（今安徽当涂）领兵入朝，朝廷上下，舆论鼎沸，人心惶恐。出人意料的是，桓温的队伍在行至离京城十余里的新亭停了下来，让当时任吏部尚书的谢安和侍中王坦之前去迎接。“是时，都下人情汹汹，或云欲诛王、谢，因移晋室。坦之甚惧，安神色不变，曰：‘晋祚存亡，决于此行。’温既至，百官拜于道侧。温大陈兵卫，延见朝士，有位望者都战慑失色。”看到大量的武士埋伏在酒宴周围，王坦之已经脸色大变，汗水湿透了衣襟，惊慌得连上朝的手板都拿反了，闹出了一个惊慌失措的大笑话。谢安却越发显得潇洒从容，趋步揖礼，从容不迫，使得桓温不得不起身还礼，请谢安就坐。谢安刚坐下，便在席前浩浩地讽咏起嵇康的《洛生咏》，对桓温说道：“安闻诸侯有道，守在四邻，明公何须壁后置人邪？”桓温笑曰：“正自不能不尔。”意思是恐有猝变，我也是不得已而为之的，遂命左右撤之。《晋书》载：“时天子幼弱，外有强臣，安与坦之尽忠辅卫，卒安晋室。”恐怕主要是谢安一腔的义正辞严，用一种充满玄学智慧的旷远从容的风度镇住了桓温，再一次用警告惊醒了对方，从而有力地阻遏了桓温的野心，维护了东晋政权。经此一事，谢安在朝中的名望更隆。