罗瑞卿认为，如同军队的基层是连队一样，公安部门的基层在派出所，要建设一支忠于党忠于人民的公安队伍，必须从派出所抓起，他曾多次深入派出所，进行调查研究。1957年至1958年，他曾深入北京、上海、武汉、重庆、南宁、杭州等城市的十几个派出所检查工作，祖国各地，到处都留下了罗瑞卿的足迹。
罗瑞卿十分重视公安院校教育，他亲自出任中央公安干部学校(1953年1月扩展为中央人民公安学院)校长。1956年，罗瑞卿经请示周恩来，又将中央人民公安学院武汉分院改为中级民警干部学校，训练中队长以上干部，另办两所训练分队长、小队长的初级民警干部学校。至此，公安干部院校由初级到高级都已齐备。
在罗瑞卿主持公安部工作的10年间，公安部属各级院校培养了数以万计的干部，其中多数人后来都成为各级公安机关的领导骨干和业务专家。罗瑞卿对毛泽东在七届二中全会上提出的“务必使同志们继续地保持谦虚、谨慎、不骄、不躁的作风，务必使同志们继续地保持艰苦奋斗的作风”记忆犹新，尤其是对艰苦朴素的作风，身体力行：他的办公室除了一张写字台、一个保险柜和一把皮椅外，还有一对单人沙发，吃饭历来是大师傅做什么，他吃什么，衣服、鞋子破了，补了再穿，不接受礼品。罗瑞卿经常教育干部：“不准坐霸王车、吃霸王饭、看霸王戏！”他是这样说的，也是这样做的。
保证毛泽东的绝对安全是罗瑞卿的主要职责之一。毛泽东常说：“罗长子在我身边，天塌下来，有他顶着。”要做到既要保证毛泽东安全，又要不妨碍他接近群众，罗瑞卿费尽了心血。为了毛泽东游泳，罗瑞卿自己也学会了游泳，可谓煞费苦心。
罗瑞卿不仅要领导警卫部门做好中央首长的安全保卫工作，还要保证中央首长外出活动时的绝对安全。20世纪50年代，毛泽东经常到全国各地视察，作为“大警卫员”的罗瑞卿，往往要相随相伴，殚精竭虑保卫毛泽东的安全。每当毛泽东离京外出或在北京参加社会活动，罗瑞卿总是亲自部署警卫工作，甚至是亲自陪同。
1953年，罗瑞卿陪同毛泽东视察“长江”舰。对于毛泽东出入活动的场所、行走路线，毛泽东所乘汽车的状况，他都亲临现场检查。毛泽东要走过的路他都要自己先走一遍；毛泽东要坐的椅子，他都要自己先坐一坐，万事都做到缜密周详、无一漏洞。因此，毛泽东常常说：“罗长子在我身边，天塌下来，有他顶着”；“罗长子往我身边一站，我就感到十分放心。”
在警卫工作中，保障首长安全和不妨碍首长接近群众，这是一个经常会碰到的矛盾。1953年初，毛泽东在罗瑞卿、杨尚昆、汪东兴等陪同下南下视察长江，2月初，毛泽东一行乘长江号旗舰由南京上溯至武昌，陈毅随行。2月24日，正是春节，毛泽东到东湖疗养院看望了在那里休养的郑位三，然后返回驻地，途中车队经武昌蛇山黄鹤楼旧址，毛泽东突然叫停车，随即下车向蛇山走去。由于毛泽东事先未说要中途停车，所以罗瑞卿也未作布置。毛泽东在陈毅、罗瑞卿、杨尚昆、湖北省委第一书记李先念等陪同下，登上了黄鹤楼，眺望烟波浩淼的长江。下楼后，他信步走到一位卖油炸豆腐的老人的摊位面前，询问价钱和生意。在毛泽东同这位老人说话的时候，旁边的两位小姑娘感到这位又高又胖的老爷爷十分面熟。其中一位先看出来了，便有点迟疑地说：“毛主席！？”第二位小姑娘肯定了她的猜测：“是毛主席！”毛泽东听到呼唤，微笑着用慈祥的目光看着这两位小姑娘。
这两位小姑娘受到鼓励，激动地边拍手边喊：“毛主席！毛主席！”她们的呼喊立即把人群吸引过来。离毛泽东比较近的人便纷纷伸出手来要同毛泽东握手。毛泽东也把手伸了出去，这一伸，手就收不回来了。人越来越多，大家不断地欢呼着“毛主席万岁”。罗瑞卿看到此情形，一面护着毛泽东，不让大家再同毛泽东握手，一面建议毛泽东返回黄鹤楼，到楼内休息，等群众走后再走，但毛泽东摆摆手，仍向山下走去。
他走到哪里，在他前面的群众就朝后退，给他让路，而在他两旁的群众则一直同他平行着走，他后面的群众因为看不到毛泽东便向前挤。巨大的人流围着他在涌动，包围圈越来越小。罗瑞卿招呼比他还要高几公分的铁道部副部长武竞天，两人一左一右走在毛泽东前面，伸开双臂，抵挡着从侧面和前面拥来的人流，杨尚昆、李先念、陈毅都在毛泽东身后紧挨着毛泽东，卫士们又在他们身后手挽手形成护住毛泽东的一个半圆形的墙。
通往停车处的道路已是人山人海，罗瑞卿一看这阵势很难走过去，灵机一动，把毛泽东带到附近的轮渡码头上，让卫士们拦住涌过来的人流，请毛泽东上了轮渡。到了船上，满头大汗的罗瑞卿心头一块石头才落了地。
类似武昌这种情况，在南京中山陵、在安庆一所中学门前都发生过，这几次罗瑞卿都在场。由于他的现场指挥和全体保卫人员的努力，每次都维持了秩序的稳定，保证了毛泽东的安全。人们都尊称他是毛泽东的大警卫员。
毛泽东酷爱游泳，从小就立志要游遍祖国的大江大河。他外出巡视，经常提出要游泳，对于这，罗瑞卿往往持反对意见，不同意毛泽东冒险。1953年毛泽东在武汉时，就曾打听长江可不可以游泳，罗的回答是否定的。
1956年初夏，毛泽东在广州，住在珠江边的小岛。一天，他正在散步，突然兴之所至，向卫士长李银桥提出返武汉游长江，李银桥感到此事非同小可，便向罗瑞卿报告。罗瑞卿、汪东兴、王任重都反对。他们认为，虽然毛泽东能在北戴河大海里游泳，但在江里可不行。海比江大，但是江比海险，水情复杂，还可能有血吸虫。毛泽东去游，万一出点儿事，无法向党和人民交代。
罗瑞卿和他们商量后，便来力劝毛泽东放弃冒游长江的风险。
但毛泽东一定坚持要游，并吩咐警卫团一中队队长韩庆余去实地考察。韩庆余也不赞成毛泽东去游长江，便信步沿江走了一趟，问岸边的老乡，大家都说游不得，漩涡很多，他了解后便回来向毛泽东报告。
于是，罗瑞卿建议派水性较好的副卫士长孙勇去试游，孙勇游完后回来向毛泽东报告：“可以游。”于是，毛泽东一行5月30日立即乘飞机由广州到长沙。上午毛泽东召集湖南省委书记讲了在广州召开的华中五省会议贯彻情况，下午便在罗瑞卿陪同下去游湘江，作为游长江的准备。罗瑞卿不会游，但当毛泽东游泳时，他一直守候在岸边，眼神须臾不离那水中的身影。
5月31日，毛泽东一行又乘飞机到武汉，中午在汪东兴等陪同下登上了武康号轮船，罗瑞卿已提前来到船上，挑选了许多游泳好手陪同毛泽东游泳，对可能发生的问题都作了充分准备。2时许，毛泽东换好游泳裤，从扶梯下水，此时水温是20℃。毛泽东仰卧在水中，看到有几条小划子围着他，连连挥手说：“走开，都走开！”在水中毛泽东还对罗瑞卿喊道：“你也下来么！”罗瑞卿摇摇头喊道：“我不会。”为了保卫毛泽东，他恨不得马上跳下水去。但是他是一个“秤砣”，他真后悔少年时代没有学会游泳。
毛泽东在水中游了2小时零3分钟，快接近武汉大桥工地才上船。上船后他以一个胜利者的口气说：“谁说长江不能游了？我一游就是十几里！罗部长不让我游，我偏游。明年我还要来，还要把他拉下水！”这时罗瑞卿已过知天命之年，但为了保卫毛泽东，已下了决心要学会游泳了。到1959年在九江游长江时，罗瑞卿已经可以跟着毛泽东下长江了。