谢安的一席话，安定了君心、臣心，孝武帝不再迟疑，下旨加封谢安为征讨大都督，谢石为征讨都督，谢玄为前锋都督，全权负责迎战之事。受命之后，谢安当即下令，让瓦肆正常开业，不得抢购货物，以此安定京城人心。自己则回到乌衣巷内，让艺伶演奏丝竹管弦，一如平素，使前来问计的侄儿谢玄沉不住气，不觉打断琴声问道：“叔父，恶战大即，你身为征讨大都督，有什么安排，侄儿听令！”谢安慢慢道来：“不必着急，我自有安排。”
谢玄出去后，仍觉不放心，便让同来的吴兴太守张玄去问。没想到谢安见到张玄十分高兴，未等张玄开口，便命人“驾出山墅，亲朋毕集，方与玄围棋赌别墅”（《晋书·谢安传》）。张玄无奈，只得坐下对弈。原本张玄精通棋艺，谢安并非他的对手，但因这次心中有事，无心下棋，于是险象迭出，没几下就被谢安逼得走投无路。幸亏谢安的外甥羊昙在旁提醒，才不至于输惨。谢安打趣道：“心慌意乱，魂不守舍，终致败局。棋场如战场啊！”并随意将乌衣巷的一幢别墅赐予羊昙。
谢安每日邀亲朋好友游山观水、听曲赌棋，似乎根本没把战事放在心上。荆州刺史桓冲深忧京城有失，特遣使者送密笺与谢安，愿派三千士卒前来保卫京师，也遭谢安拒绝了。大家不知谢安葫芦里卖的什么药，都在心中默默祈祷：希望此时的谢安一如以前那样“神通”。
待京城人心安定后，谢安即召集征讨都督谢石、前锋都督谢玄、辅国将军谢琰（谢安次子）、西中郎将桓伊、龙骧将军胡彬、广陵相刘牢之等水陆两路将领集于相府议事，“指授将帅，各当其任”（《晋书·谢安传》）。各将帅领命而去，留下谢安坐镇建康，统筹指挥。
是年十月，苻坚之弟苻融率前秦前锋部队攻占了寿阳，俘虏晋军守将徐元喜。与此同时，前秦军慕容垂部攻占了郧城（今湖北郧县）。东晋援军胡彬在半路上得知寿阳失守，便退守硖石（今安徽凤台西南），等待与谢石、谢玄的大军会合。苻融又率军攻打硖石。苻融部将梁成率兵五万进攻洛涧（在今安徽淮南东），截断淮河交通，阻断了胡彬的退路。胡彬困守硖石，粮草用尽，难以支撑，写信向谢石告急，但送信的晋兵被秦兵捉住，此信落在苻融手里。苻融立刻向苻坚报告了晋军兵少，粮草缺乏的情况，建议迅速起兵，以防晋军逃遁。苻坚得报，把大军留在项城，亲率八千骑兵疾趋寿阳。
苻坚一到寿阳，立即派原东晋襄阳守将朱序到晋军大营去劝降。朱序到晋营后，不但没有劝降，反而向谢石提供了秦军的情况，他说：“必须赶在秦军主力尚未集齐之前，集中力量打击其先遣部队，只有这样才能获胜。”谢石起初认为前秦军强大，打算坚守不战，“欲不战以劳秦师”。听了朱序的话后，认为很有道理，便改变了作战方针，决定转守为攻，主动出击。
11月，谢玄派遣勇将刘牢之率精兵五千奔袭洛涧，揭开了淝水大战的序幕。秦将梁成率部五万在洛涧边上列阵迎击。刘牢之分兵一部迂回到前秦军阵后，断其归路；自己率兵强渡洛水，猛攻前秦阵。前秦军惊慌失措，勉强抵挡一阵，就土崩瓦解，主将梁成和其弟梁云战死，官兵争先恐后渡过淮河逃命，一万五千余人丧生。洛涧大捷，极大地鼓舞了晋军的士气。谢石挥军水陆并进，直抵淝水（今淝河，在安徽寿县南）东岸，在八公山边扎下大营，与寿阳的前秦军隔岸对峙。苻坚站在寿阳城楼上，一眼望去，只见对岸晋军布阵整齐，将士精锐。连八公山上的草木，他也感到类似人形，误认为是晋兵，颇为惊慌，对苻融说：“这是劲敌！怎能说他们是弱敌呢？”这就是成语“草木皆兵”的由来。
由于前秦军紧逼淝水西岸布阵，晋军无法渡河，只能隔岸对峙。谢玄筹划了一计，他一面命水师乘夜间在水下搭好舟桥，以供部队强渡时使用，一面又命刘牢之率领北府精兵八千人，选择浅水处列阵，随时准备交锋。接着又按谢安“攻心为上”的战术，派东晋的兵士，化装成流民，混入前秦军，与朱序联络，商定里应外合的办法。布置完毕后，谢玄就派使者去见苻融，用激将法对他说：“将军率军深入晋地，却紧逼河岸布阵，这难道是想决战吗？如果你把阵地稍向后退，空出一块地方，让我军渡过淝水，双方一决胜负如何？”前秦军诸将都表示反对，但苻坚认为可以将计就计，让军队稍向后退，待晋军渡河过半时，再以骑兵冲杀，这样就可以取得胜利。苻融对苻坚的计划也表示赞同，于是就答应了谢玄的要求，指挥军队后撤。
前秦兵大多是被逼走上战场的，原本士气低落，一听后撤以为前方打了败仗，就失去控制，阵势大乱。谢玄率领八千多骑兵，趁势抢渡淝水，向前秦军猛攻。朱序则在前秦军阵后大叫：“秦兵败了！秦兵败了！”前秦兵信以为真，于是转身竞相奔逃。苻融眼见大势不妙，急忙骑马前去阻止，以图稳住阵脚，不料战马被乱兵冲倒，被晋军追兵杀死。失去主将的前秦兵越发混乱，彻底崩溃。前锋的溃败，引起后续部队的惊恐，也随之溃逃，形成连锁反应，结果全军溃逃，向北败退。前秦军溃兵沿途不敢停留，听到风声鹤唳，都以为是晋军追来。晋军乘胜追击，一直到达寿阳附近的青冈。前秦兵人马相踏而死的，满山遍野，充塞大河。苻坚本人也中箭负伤，单枪匹马逃回洛阳。
晋军收复寿阳，谢石和谢玄派飞马往建康报捷。当时谢安正跟客人在家下棋。他看完了谢石送来的捷报，不露声色，随手把捷报放在旁边，照样下棋。客人知道是前方送来的战报，忍不住问谢安：“丞相，刚才送来的是前线的战报吧，战况如何？揪人心啊！”谢安慢吞吞地说：“小儿辈已破贼矣。”（《晋书·谢安传》），说得如此轻描淡写，以致客人自己抓过战报看了，才相信是真的，欣喜异常，掀翻棋盘，忘记礼节，高兴地大叫：“我们赢了，我们打赢了！”谢安送走客人，回到内宅去，他的兴奋心情再也按捺不住，跨过门槛的时候，踉踉跄跄的，把脚上的木屐的齿也碰断了。
淝水之战，前秦军被歼和逃散的共有七十多万，唯有鲜卑慕容垂部的三万人马尚完整无损。苻坚统一南北的希望彻底破灭，不仅如此，北方暂时统一的局面也随之解体，再次分裂成更多的地方民族政权。鲜卑族的慕容垂和羌族的姚苌等贵族重新崛起，各自建立了新的国家，苻坚本人也在两年后被姚苌俘虏杀死，前秦随之灭亡。此战的胜利者东晋王朝虽无力恢复全中国的统治权，但却有效地遏制了北方少数民族的南下侵扰，为江南地区社会经济的恢复和发展创造了条件。淝水之战也成为以少胜多的著名战例，载入军事史册，对后世兵家的战争观念和决战思想产生着久远影响。而谢安在此战役中起到了战略规划者和安定后方的作用，他的卓越才能，被时人称之为“士族之俊杰”。
淝水之战后，谢安以建昌公功拜太保，谢石被封为南康公，谢玄为康乐公，谢琰封望蔡公，一门四公，谢氏家族达到了荣耀的顶峰。可以说，淝水之战的胜利，不但是谢安近十年政治措施及活动水到渠成的结果，同样也是他政治生涯的一个光彩的句号。
当外来威胁刚刚得到解除，东晋内部各阶层之间的关系便又陷入了紧张之中。早在太元八年前秦百万大军逼压晋境，谢安、谢玄他们率领区区八万之众运筹帷幄的时候，孝武帝却在建康任命弟弟琅琊王司马道子录尚书事，不久又加职开府，领司徒，“把录尚书事的职务给司马道子，等于是分了谢安的相权”。谢安知道，自己家族的鼎盛之至是其他世家大族所觊觎和不容的：因为“功高震主”，皇室也不会放心自己。谢安上疏辞让太保和封爵，未被获准，于是想到了隐退。但鉴于朝廷局势不稳，想到自己“父子皆著大勋，恐为朝廷所疑”，这时桓冲去世所留下的荆、江官职的空缺也不能给谢玄，而桓石虔“有沔阳之功”，正可以奖赏升职，又“虑其骁猛，在形胜之地，终或难制”，便又一次采取“和靖”的方法，“以三桓据三州”，让桓冲的侄儿桓石民镇荆州，桓石虔镇豫州，桓伊镇江州，使“彼此无怨，各得所任”。这样，就又一次平衡了桓、谢两家。然后自请出镇广陵（今扬州），驻扎在步丘，并在那里盖了一个小城堡，名曰新城，来避开京城的矛盾。晋孝武帝太元十年（公元385年），从大局出发的谢安，正式从东晋政治舞台的最前台退出。
东山的风情、东山的生活一直是谢安所念念不忘的，哪怕是身居高位时，也是不能忘怀，退居广陵时，更是日思夜想。于是在首都附近仿照东山的形势筑起了一座土山，游憩宴饮，寄怀欣赏。《江南通志》载：“东山在江宁府城东南三十里，一名土山。晋谢安先隐居会稽东山，既出，心尝思忆，因筑土为山拟之，寄怀欣赏。”当然他还想北伐收复中原，完成自己最后的心愿。可惜终因积劳成疾，身染沉疴，到广陵不久即病重。请求还京，得到皇帝恩准。当谢安听说他的马车行至西州门时，猛然想到自己的夙愿未能实现，于是感慨万千，怅然地对身边亲信说：“昔桓温在时，吾常惧不全。忽乘温舆行十六里，见一白鸡而止。乘温舆者，代其位也。十六里，止今十六年矣。白鸡主酋，今太岁在酋，吾病殆不起乎？”于是上疏请求辞职。皇上派人传达旨意，以示慰问挽留。可惜一代名臣，于太元十年八月二十二日（公历10月12日），带着遗憾，一手拉着嫡孙谢混，一手牵着幼孙谢澹，口念“东山”，与世长辞！享年六十六岁。
名臣离世，东山为之俯首，江淮为之呜咽，京都吏民，无不为之举哀。皇上接连三天在殿上当众表示哀悼，并赐给东园秘器，朝服一具，衣服一袭，钱百万，布千匹，蜡五百斤，追封谢安为太傅，谥号“文靖”。因为谢家在城外没有自己的宅院，皇帝命令在谢安城里的公馆里办理丧事。到了下葬时，举行了特殊的仪式，全依照大司马桓温办理丧事的旧例办。又因平定苻坚有功，改换封号为庐陵郡公。他出镇广陵时，在城北筑起的土堤纤道，后人为纪念他，也改成“召伯埭”。
按照东晋惯例，大臣死后，当由其子侄中的杰出人才承继相业，如在谢安之前，晋相王导病逝，其兄弟子侄几乎全居重位；前相庾亮死后，其弟庾冰、庾翼相继握有重权；又如郗鉴辞世，其子郗昙、郗愔分镇京口等地重镇；桓温死后，其弟桓冲统率其部。但这一次，朝廷在谢安身上打破了惯例，排挤了谢氏族人中的杰出者进入东晋权力中枢，大权由司马道子掌管。
谢安的坟墓，据唐姚思廉所撰之《陈书·始兴王叔陵传》载：“晋世王公贵人多葬梅岭。叔陵母（彭氏）死，求于梅岭葬之。乃发故太傅谢安旧墓，弃去安柩，以葬其母。”此事，离谢安逝世不到一百五十年，一代名相谢安，死后不仅没有得到恰当的评价，墓前还立了一块无字碑，让后人无从知晓墓中主人姓名和业绩，着实令人嗟叹！
幸好历史是公正的，东晋王朝自司马道子专权后，朝政日非，风流渐尽，逐渐走向灭亡。最后，由“北府兵”在刘裕的统率下出来收拾残局，“终移晋宝”。谢安的为政风范和丰功伟绩，历代文人皆有赞颂和缅怀之作。唐代大诗人李白留下了“未向东山久，蔷薇几度开。白云还自散，明月落谁家”之句；王安石更是对谢安的功业赞颂有加：“谢公才业自超群，误长清谈助此纷。秦晋区区等亡国，可能王衍胜商君。”南宋爱国诗人陆游，有感于当时山河破碎的现状而怀念谢安东山再起，决胜淝水的气度和魄力，抒写了“岂少名山宇宙间，地因人胜说东山。江拖银练秋波淡，峰削芙蓉翠峰环。别墅有棋沙缉缉，断碑无字藓斑斑。几更梵宇勋名在，不与蔷薇一样残”的咏怀诗。到了清代，浙江道台、诗人阮元也对谢氏一族“兼将相于内外，系存亡于社稷”的历史功绩倍加赞赏：“云水东山春放船，谢安裙妓忆当年。苍生寄托伤温浩，青史功名冠石玄。扪虱有人知唳鹤，围棋无暇笑投鞭。”一代名臣谢安，连同他的“东山再起”必将世世代代为人们所颂扬！