共和国成立后，罗瑞卿被任命为公安部部长，负责全国治安，镇压敌特，消除各种丑恶现象，保卫新中国人民生命财产安全，维护社会稳定。
1949年6月，中央军委副主席周恩来电召时任太原第十九兵团政委的罗瑞卿到北平，要他出任即将成立的中央人民政府的公安部长(在政府建立之前归军委建制)。罗瑞卿对此没有任何思想准备，提出希望随四野南下，并认为由中共中央社会部部长李克农出任公安部长更合适，但周恩来和毛泽东都力劝他留在中央当公安部长。罗瑞卿认识到让他当公安部长是形势的需要，便愉快地接受了任务。
公安部成立初期合影。左起：吴烈、罗瑞卿、杨奇清。随后，按照周恩来的指示，罗瑞卿即以中共中央华北局社会部和中共中央社会部的部分机构为基础组建公安部。
为加强公安部内的集体领导，罗瑞卿写信给毛泽东及中共中央，要求在公安部内建立党委制，毛泽东和中央书记处批准了这一提议。为解决公安部的干部问题，中共中央和中央军委随即抽调大批干部和知识分子补入公安系统，为公安队伍的建设奠定了基础。除此之外，罗瑞卿还就公安组织机构编制、公安武装编制，建设新警察的方针和政策提出具体建议。
10月19日，中央人民政府委员会第三次会议任命罗瑞卿为中央人民政府公安部部长，正如罗瑞卿自己所说：“公安工作是很光荣的，一定要做好，我们一定能做好！”
罗瑞卿领导公安部门，荡涤旧社会遗留下来的污泥浊水。新中国建立初期，被推翻的国民党反动派的残余势力和旧社会遗留下来的病毒都还残存着，罗瑞卿刚担任公安部长时所承担的压力是巨大的。罗瑞卿一上任即领导进行清扫和荡涤工作：首先进行反动党团骨干分子限期登记，接着严厉打击盗匪流氓，在打击城市盗匪的同时，罗瑞卿还指示狠狠打击流氓阿飞活动。罗瑞卿指出：“城市中的流氓问题和盗匪一样，都是旧社会造成的，现在仍起着严重的破坏作用。”各地对流氓的打击得到了广大群众的拥护。
罗瑞卿狠抓了查禁毒品的工作，经过各级公安部门的努力，清除了祸害中国100多年的毒害，使新中国的面貌焕然一新。娼妓的存在是万恶旧社会的丑陋现象，对封闭妓院、取缔娼妓活动，罗瑞卿决不留情，狠抓落实，很快就将这根毒害很深的娼妓淫乱活动彻底清除，得到了广大人民的热烈拥护，对妇女的解放也起着重大作用，在国内外引起强烈的反响。
1950年朝鲜战争爆发后，反革命分子的活动日益嚣张，面对严峻的敌情，罗瑞卿提出了“杀一批，关一批，管一批”的应对措施，得到了毛泽东的首肯。在彭真、罗瑞卿的共同起草下，“双十指示”颁布，对于正确实行镇压反革命运动起了指导作用。在镇压反革命运动中，罗瑞卿坚持党委对公安工作的绝对领导，充分地发动群众、依靠群众，大张旗鼓，不搞孤立主义和神秘主义，严格执行党的政策。另外，罗瑞卿在镇压反革命运动中，针对一些特殊问题提出一些特殊的政策和处理方法。如1951年2月，他亲自总结了涉及统一战线中一些人士如何处理的经验，并代中共中央起草《在镇压反革命处理涉及民主党派、民主人士、爱国分子问题的指示》。罗瑞卿还主持制定了许多关于如何处置犯罪的指示和规定。
罗瑞卿在领导镇压反革命运动的同时，还领导着一场与帝国主义、蒋介石集团之间的形形色色的特务、间谍之战。
当时，做好警卫工作，同国民党特务机关的暗害阴谋作斗争，保证党和国家领导人的绝对安全，是公安工作的极端重要的任务。罗瑞卿为此耗费了巨大的精力。1950年朝鲜战争爆发后，龟缩在台湾的蒋介石，认为反攻大陆的时机到了，便加紧派遣间谍特务。有空投的，有从海上偷渡的，还有从边境潜入的，并以“杀死一名部长，奖励十条黄金”为诱饵，使一批亡命之徒铤而走险，把暗杀目标对准了一些高级干部和重要民主人士。
党和国家领导人对国民党特务机关的暗杀活动早有察觉，十分警惕。1949年10月30日，周恩来就叮嘱罗瑞卿要严密注意并防范敌人的暗害阴谋。他说：“穷凶极恶的敌人，别的他们不能作，对暗杀，他们是能搞的。现在我们损失不得，都是党几十年培养出来的干部，是损失不得的。”
罗瑞卿及时传达了上述指示精神，一再教育广大公安干警说：“帝国主义及蒋介石集团在遭受失败之后，正在千方百计地策划对我们的领导和党政军民的首长以及民主党派和无党派民主人士中的重要分子实行暗害，企图以恐怖活动打击革命。因此，要加强对领袖、对首长、对首脑机关及重要民主人士的警卫与保卫工作，同反革命的暗害活动作尖锐的斗争。”
罗瑞卿亲自处理图谋暗害的重要案件，详细地听取汇报，参与研究案情，认真询问每个细节，一丝不苟，据以部署战斗。他要求有关干部要深入调查研究，仔细地做工作，做到绝对有把握。因而一次又一次有力地打击了敌人的暗杀活动，粉碎了敌人一个又一个的暗害阴谋。其中，最有名的就是逮捕国民党特务段云鹏。
段云鹏自幼习武，解放前是京津一带有名的盗贼，1946年军统北平站收买了他，当上了国民党的特务。北平解放前夕，他为破坏国共和谈，恐吓民主人士，在原北平市长何思源家搞爆炸，何的一个女儿当场死亡，夫妇二人受重伤。北平解放后，段云鹏逃到台湾，后又于1949年9月和1950年5月两次潜入京津地区，发展特务人员，策划多次爆炸事件。他甚至想利用熟悉中南海地形的有利条件，阴谋行刺毛泽东、刘少奇、周恩来等党和国家主要领导人。
罗瑞卿得到这个情报后，决定采取欲擒故纵的策略，派秘密人员诱骗段贼入境，就在他第三次潜入大陆、刚刚到达广州时，这个自命不凡，声称任何人对他都奈何不得的飞贼，便被捕获。
在此前后，公安人员还相继除掉了企图在广州刺杀叶剑英的赵一帆，以及在上海企图暗杀陈毅的刘全德等敌特分子；还擒获了几批空投到东北地区、企图搞反革命暴乱的敌特和数名美国间谍，彻底粉碎了敌人企图利用五一、国庆重大节日搞爆炸、制造重大事件的图谋。毛泽东、周恩来等党和国家领导人对此非常满意，多次指出：国家政权的巩固，公安战线功不可没！
随着公安队伍的扩大和加强，进一步建设公安部门政治机关的问题提上了议事日程。1952年10月，在第五次全国公安会议上，罗瑞卿主持通过了《关于建设公安部门政治工作的决议》，决定以古田会议决议为指导思想，在公安系统建立政治制度和政治工作机构。
1957年，有些人提出要取消政治部，他坚决反对，并明确指出：政治机关是党的派出机关，服从公安部党组的领导。公安机关首长如不执行党的政策指示，政治机关有监督之权。
为了纠正公安系统内存在的旧警察作风，罗瑞卿指示公安部起草了《关于禁止公安工作人员看白戏或利用职权随便出入文化娱乐场所的规定》等文件。
为了搞好密切警民关系，使公安人员在纪律作风上有所遵循，早在1949年11月罗瑞卿就提出要规定几条，大家共同遵守。1952年，他指示政治机关提出了《十大纪律、八项作风的规定》，1958年8月16日，他主持召开的第九次全国公安会议上，讨论通过了由他亲笔修改的仿效解放军三大纪律八项注意而制定的《公安人员八大纪律、十项注意》。