1959年9月，罗瑞卿被任命为中央军委常委、秘书长和人民解放军总参谋长，主持中央军委机关日常工作，从此离开了公安战线。在军队工作的日子里，他为部队的现代化作出了贡献。
1959年10月，罗瑞卿开始到中央军委上班。他到任后立即找各位副总长、总参一些二级部长谈话，到坦克一师、高级航校、地空导弹部队第二营、北京军区空军、陆军一些部队进行视察，以尽快熟悉军队各方面的情况。
此时，中国正处于多事之秋。至1959年底，西藏各主要地区和交通要道的武装叛乱虽已基本平息，但沿边地区的叛乱活动仍未停止。1960年6月，中苏关系走向破裂，甚至到了兵戎相见的地步。这些都是刚刚走马上任的罗瑞卿必须面临和解决的问题。为此，几年来，他亲自到东北、内蒙和新疆，对边防进行具体部署。
此时，盘踞在台湾的蒋介石集团乘印度在中印边境对中国领土进行武装蚕食、苏联策动新疆伊黎塔城暴乱和中国经济暂时困难之际，企图对大陆东南沿海的福建省和闽粤、闽浙接合部地区进行一次空前的军事冒险，毛泽东电召罗瑞卿商谈紧急战备问题。
罗瑞卿遵照毛泽东指示，往返于京杭之间，部署战备，并于6月1日在华东局干部大会上作了关于备战的报告。报告中讲到敌人来与不来两种可能都有，但我们要准备他来，我们准备得越充分，也有可能敌人就不敢来了。
6月4日，罗瑞卿在召集南京军区、上海警备区、嵊泗要塞区和东海舰队、江苏省军区的负责人传达和落实毛泽东关于东南沿海备战问题的指示后，乘火车返回北京。
罗瑞卿回到北京第二天，便立即分别向林彪和中央政治局汇报了毛泽东对东南沿海战备问题的指示，并从5日至8日连续三次召集有总参、总政、总后和海军、空军、各兵种以及总参有关部局参加的军委办公会议，研究贯彻毛泽东和军委关于东南沿海作战问题的指示，决定立即召开作战会议，进行兵力部署和动员。
作战会议从9日开始连续开了4天，罗瑞卿主持了会议。参加会议的除三总部、各军兵种外，有关军区和省军区也专程来京赴会。与会的各大单位负责人一致拥护毛泽东和中央军委关于东南沿海战备问题的指示和所制定的作战方针，并遵照这一方针作了军事上的具体部署。
蒋介石看到人民解放军已作好了充分准备，而美国又公开表示不支持其行动，不得不放弃其大规模的军事冒险计划，改为派遣小股武装进行袭扰。
罗瑞卿在组织指挥这一斗争时曾多次深入沿海部队，调查研究，总结反武装特务斗争的经验教训。他十分注意同公安部门密切配合，协同作战，有力地瓦解和打击了蒋美集团的情报间谍阴谋诡计，同时也体现了罗瑞卿在反间谍战斗中的机智和风格。
与在东南沿海进行反国民党武装特务斗争的同时，中国西南边境也不平静。为防备印度全面进攻，我国加强了战备。在这一形势下，罗瑞卿派作战部一些干部到西藏边境地区去了解情况。临行前，罗瑞卿对作战部副部长说：“你们去看看，印军的蚕食活动停得下来吗？万一停不下来怎么办？必要时该打还得打。你是作战部副部长，光讲让不行。人家会说你的二话，作战部不是退让部，我们要做好准备。但在毛主席下决心以前，一律不准开枪。如果中央决定反击了，而我们却没有准备好，那我们就要变成民族罪人了。”
作战部的人员到达西藏、新疆边境地区后，了解到印军蚕食活动日益猖狂，把他们的哨所推进到解放军哨所的后面，对解放军哨所成包围态势，指战员普遍对节节退让想不通。
罗瑞卿及时向毛泽东报告了前方的情况。在1962年10月12日印度政府进一步扬言要把中国军队从印度准备侵占的中国领土上清除掉后，毛泽东终于下定了打一仗的决心。
10月18日，罗瑞卿起草了军委给边防部队的电报，指示：此次作战事关国威军威，务必初战必胜，只能打好，不能打坏。关于军事指挥工作，政治动员工作，后勤保障工作，务必精心计划，周密组织，切实做好。要不断教育参战部队的全体人员，务必兢兢业业，戒骄戒躁，千万不可轻敌，千万不能疏忽大意。随时记住毛泽东的教导：战略上藐视敌人，战术上重视敌人。指示号召：上下一心，排除万难，英勇杀敌，争取全胜。
10月20日，中印边境东、西两段自卫反击作战同时开始。西藏和新疆边防部队在东段反击作战在西藏山南的克节朗、达旺地区展开，这里是第一阶段反击作战的主要方向，对此，罗瑞卿倾注了极大的心血。
10月25日，东段反击部队相继进占达旺及达旺河北岸，收复了克节朗河以南，达旺河以北，不丹以东，达旺以西被印军侵占的中国领土。
在这期间，西段新疆方向对印自卫反击作战的捷报也频频传到北京总参谋部。罗瑞卿深为边防部队不怕困难、英勇牺牲所得来的胜利而激动，他指示有关部门立即起草以军委名义发给参战部队的嘉奖令，并亲自修改。
11月14日、16日，印军在边界全线再次发动进攻。11月16日，中国西藏、新疆边防部队奉命进行第二阶段自卫反击作战。经过几天浴血奋战，至11月20日，中国边防部队已在东段和西段粉碎了印军的全线侵犯，拔除了印军的入侵据点，逼近中印边界传统习惯线，取得了自卫反击作战的巨大胜利。
在历时一个月的中印边界自卫反击作战中，罗瑞卿作为总参谋长，把党中央、中央军委和毛泽东的指示融汇到经过他亲自起草或精心修改的一封封电报中，贯彻到反击作战的军事行动之中。为此，他尽职尽责，夜以继日，呕心沥血。
中印边境自卫反击战之后，为了贯彻毛泽东提出的每一个战略设想和部署，日夜操劳。1963年5月到7月，罗瑞卿到浙江、山东半岛实地勘察地形，亲赴吉林和黑龙江部分地区勘察。1963年10月，罗瑞卿到新疆地区调查研究。1964年9月，到张家口、承德地区调查。1964年11月，罗瑞卿又到华南边界勘察地形。他当总参谋长的6年内，为了祖国的安危，边境的安宁，走遍了中国沿海沿边的山山水水。
1965年，为了搞好援越抗美，中共中央和国务院成立了由罗瑞卿任组长的“支援越南领导小组”，负责掌握援越的大政方针，审定重大援助任务和新增项目。罗瑞卿按照中共中央和中央军委的决定，还组织领导了援助老挝抗击美国的斗争。
在罗瑞卿接任军委秘书长和总参谋长期间，对部队的武器装备生产亦十分关注，积极辅佐以贺龙为主任的中央军委国防工业委员会工作。他多次到各地军工企业实地考察，了解与关心和指导各军工企业的生产状况。国防工业办公室组建后，罗瑞卿兼任国防工办主任，他用很大精力解决国防工业发展的方针和奋斗目标的统一认识问题，加强和改善国防工业的领导和管理，实现国防科研与国防工业生产、尖端武器装备与常规武器装备的统筹规划、全面安排和集中统一管理。
罗瑞卿对军报的办报情况和部队文艺工作也非常关注。罗瑞卿身兼数职，日日夜夜超负荷工作，为党和人民奉献了大量的心血，人民将永远不会忘记他的功劳。
粉碎“四人帮”以后，罗瑞卿重回军队工作，致力于军队的整顿。在军队中冲破“两个凡是”的束缚，着力于各项工作的正常恢复。1977年7月赴德就医，心脏病突发去世。邓小平闻讯，叹道：“太不幸了！太不幸了！”
“文化大革命”中，罗瑞卿遭到林彪、江青等人的诬蔑陷害，被撤掉一切职务，受到残酷的批斗，遭到了非人的待遇和折磨，甚至左小腿因林彪一伙的迫害而截肢。1971年“九一三”事件后，1973年12月12日，毛泽东在中央政治局会议上说：“小平讲，在上海的时候，对罗瑞卿搞突然袭击，他不满意。我赞成他。也是听了林彪的话，整了罗瑞卿呢。有几次听一面之词，就是不好，向同志们做点自我批评呢。”
1975年8月，罗瑞卿被任命为中央军委顾问。1977年8月，中共第十一次全国代表大会上，罗瑞卿当选为中央委员，被任命为中央军委常委、军委秘书长。罗瑞卿作为邓小平的助手，一复出便首先抓整顿，积极贯彻邓小平所说“军队要整顿，要准备打仗”的指示，围绕整顿，开展了多方面的工作。1978年，罗瑞卿在联邦德国海德堡骨科大学医院。
在思想上，罗瑞卿大力支持《解放军报》冲破主张“两个凡是”的人所设置的只提批右不提批“左”的障碍，主张揭露林彪、“四人帮”极“左”的面目。
在作风上，他主持开展了以三查三整(即查斗志、查纪律、查作风，整顿“软、懒、散”、整顿官僚主义和整顿作风)为中心的整党整风运动。
在组织上，他主持平反了大量的冤假错案，同时清查了“风派”、“震派”和“溜派”三种人，随后调整了领导班子。但是，他却从未提出给自己平反的要求。当郝治平问他时，他说：“不要急。党有难处，我们不能够给党增加困难。”
在军事工作上，他主持战略委员会，重新分析研究了国际形势，调整战略方针和战略部署。
在国防科技和国防工业上，他对军委决定的重点抓洲际导弹、潜射导弹和同步卫星的研制组织大力协调，同时抓紧常规武器装备的改进，以逐步实现军队武器装备的现代化。
在基层工作上，他强调从严训练和管理，恢复和发扬光荣传统，加强组织纪律性，建立正规秩序，减少和消灭各类事故。为了推动部队建设，他十分注意运用先进典型。在他的倡议下，航一师、硬骨头六连、神枪手四连等单位都受到了表彰。
长期以来，罗瑞卿因左腿截肢，工作十分不便。1977年，党组织请了两位西德专家来给罗瑞卿安装一个更轻、质量更好的假肢，罗瑞卿很乐意去接受这个手术，准备以更好的身体条件为党国家和人民服务。经过各方面的周密准备，1978年7月18日，罗瑞卿在家人、随行人员和医疗小组的陪同下，飞抵西德波恩的海德堡骨科大学医院。8月2日上午，医生成功地为罗瑞卿动了手术。但是，由于突发心肌梗塞，罗瑞卿手术后不久，与世长辞了。当地时间是8月3日凌晨2时40分，北京时间为8月3日上午9时40分。
噩耗传来，举国哀痛。邓小平扼腕长叹：“太不幸了！太不幸了！”
8月5日，中央派专机将罗瑞卿的灵柩迎回北京。邓小平、叶剑英等党和国家领导人都怀着沉重的心情在西郊机场等候。
12日，在人民大会堂召开罗瑞卿追悼大会。天安门广场、新华门、外交部下半旗为他致哀。追悼会上邓小平致悼词，对罗瑞卿的一生做了公正的评价：
罗瑞卿的一生，是革命的一生，战斗的一生，光荣的一生，是鞠躬尽瘁，全心全意为人民服务的一生。