北平解放后，聂荣臻先后主持华北军区工作及总参谋部工作，他指挥了开国大典的阅兵式，抗美援朝战争中积极筹划，功不可没。
抗日战争胜利后，不到一年，蒋介石就撕毁停战协议，先后对各解放区发动了全面进攻。经过两年的艰苦奋战，攻打清风店，解放石家庄，扭转了战局，掌握了主动权，终于到了1948年12月中旬，聂荣臻接到了中央军委的通知，要他立即赶到平津战役指挥部工作。
这时候，林彪和罗荣桓率领的东北野战军胜利地结束了东北黑土地上的战事，浩浩荡荡地来到华北大地上，准备又一场大战，毛泽东已经为他们规划好了平津战役的作战蓝图。
经过新保安和张家口之战，以及怀来追歼战，傅作义的嫡系部队几乎损失殆尽。而这时，天津之战正在积极部署之中，北平的解放指日可待了。
随着淮海战役的结束和天津解放，北平终于成了地地道道的“孤岛”，尚在犹豫中的傅作义走投无路，不得不接受平津前线司令部关于和平解放北平的全部条件。
1949年1月1日，傅作义的全部部队出城改编完毕，人民解放军先头部队接收了北平城内的全部防务。至此，持续64天的平津战役以军事打击和政治争取并举的方式结束，歼灭和改编国民党军队共52万余人。
聂荣臻和林彪、罗荣桓是在先头部队入城的第二天进入北平的。聂荣臻提议，为了扩大人民解放军的影响，应该举行一个声势浩大的入城式，林彪和罗荣桓表示同意，报到毛泽东那里，很快批了回来。
2月3日的入城式整整持续了8个小时，全城200万人民几乎全部涌到大街上，盛况空前，此起彼伏的欢呼声和口号声回荡在北平上空。刹那间，古城恢复了青春。
聂荣臻站在前门箭楼上，望着迎面而来的钢铁队伍，内心充满了胜利的自豪。
进入北平城以后，是聂荣臻一生中最繁忙的时候。他一下子接过了6个职务：副总参谋长、华北局第三书记、华北军区司令员、北平市市长、北平市军管会主任和平津卫戍司令员。
1949年2月，聂荣臻和叶剑英被任命为中央军委副总参谋长，总参谋长由周恩来兼任。中华人民共和国成立不久，中央人民政府重新任命了人民革命军事委员会的领导成员，徐向前被任命为中国人民解放军总参谋长，聂荣臻为副总参谋长。当时，徐向前请了病假，总参的工作由聂荣臻代管。到了1950年初，他即被正式指定为代理总参谋长。那时全国各地实际上是实行军事管制，总参谋长是在党中央和中央军委领导下，负责全军的作战和军事工作。当时战争还没有结束，人民解放军还在向西南进军和大规模剿匪，还有沿海一些重要岛屿和西藏需要解放，但和平建设时期已经到来，部队要精简整编，要向现代化正规化进军。
军队工作真可说是千头万绪，而且，几乎都是过去从来没有碰到过的，就是开国大典吧，对于聂荣臻来说，无论如何都是找不到借鉴的第一次。
在中央人民政府成立大会上举行阅兵的设想，从1949年的7月底就相当明确了，参加阅兵的部队陆续赶到集结地点。
7月的一天，毛泽东等在怀仁堂听取了阅兵总指挥聂荣臻和阅兵指挥所主任杨成武的汇报。聂荣臻谈了阅兵典礼方案的基本设想、简要经过和需要说明的问题。杨成武汇报了典礼方案的内容。毛泽东听完后，点点头，强调说，我们历来主张慎重初战，这次阅兵也是初战，开国第一次嘛。告诉同志们，一定要搞好。开国大典的阅兵通知是8月份正式下达的。海军前导方队由安东海军学校和华东军区海军组成，这是人民解放军的海军第一次在公开场合亮相。步兵是一九九师为主，特种兵由华北军区特种兵司令部参谋长李健主持，这时候，还没有空军的份。在短短一个多月的紧张训练中，聂荣臻多次召集阅兵会议，部队集结地先农坛、天坛、北苑等地，他都去过不下二三次。他亲自和阅兵部队的各级领导共同研讨训练中的问题，大到队形排列，小到装甲车熄火马失前蹄这一类小事，甚至拉炮车的骡马拉粪问题也都考虑到了。聂荣臻要求部队一定要训练到队列整齐、步伐一致、军姿庄严、军容威武的程度。
1949年10月1日，聂荣臻(左)陪同朱德总司令在开国大典上阅兵。空军参加开国大典的计划表于9月22日出台，比地面阅兵部队迟组建两个多月。
开国大典选在10月1日下午3时。这个时间一直保密，直到10月1日上午才由北平新华广播电台发出预告。在北平四周，聂荣臻布置好高射炮群，严阵以待，年轻的人民空军也做好了一级战斗准备。飞过天安门的飞机，留下两架P-51蚊式机在空中巡逻。聂荣臻对受阅部队发出一道死命令：“万一发生空袭，不能动，下刀子也不能动!天安门广场上30万人民在看着我们!”
终于到了历史性的那一刻，装甲车编队过来时，天上的飞机呼啸而过，毛泽东挥舞手臂向天上地上的立体阵容欢呼。整个广场沸腾了，然而，有一个人在这狂欢的海洋中揪着一颗心，这就是聂荣臻。
这并不是聂荣臻最紧张的时候，到了朝鲜战争爆发以后的1950年下半年到1952年上半年，那才是紧张又紧张呢。聂荣臻当时采取的工作方法是召集有关部门开联席会议，一种是大范围的比如各军兵种、总参、总政、总后的联席会议；另一种是总参各部门的小范围联席会议。这种会议，容易把情况凑到一起，共同提出解决办法，研究确定之后，就分头去执行，马上可以立竿见影。
1952年9月，聂荣臻和彭德怀去京郊视察国防工程，回到办公室就突然摔倒在地。一检查，脑平衡神经失调、高血压和心脏病都出现了。到1953年朝鲜战争实际上停下来以后，经中央和军委批准，聂荣臻才辞去了代理总参谋长的职务，休息养病。
新中国，聂荣臻长期领导新中国国防科技事业，为国防武器现代化，特别是核武器的研制呕心沥血，是中国国防科技事业的名副其实的奠基人。
经过3年多的休养，聂荣臻的健康开始有了好转。当时，正开完党的第八次全国代表大会，中央研究了一些领导人的分工问题。
经过协商后不久，中央任命聂荣臻为国务院副总理，科学规划委员会党组书记，主管科学技术工作。
聂荣臻知道，要抓科学研究，比抓其他工作都困难。解放初期整个科研事业的家底非常薄弱，全国科研机构包括社会科学在内，只有研究人员650名，按当时全国4亿多人口计算，每70万人中才有一名科研人员。资金和设备更是缺乏，很难独立地开展工作。
但是，正像毛泽东说的那样，一张白纸，好画最新最美的图画。
为了改变我国科技落后的面貌，聂荣臻上任后，马上投入了工作。这时候，中华人民共和国建立已经是第七个年头了，由于党和国家对科学技术的重视，经过3年经济恢复时期和第一个五年计划的建设，科技事业已经形成了一定的规模。而聂荣臻在病休的3年多时间里，并没有卧于病床，他只是在身体实在支持不住时去外地疗养过几个月，其余时间他仍在忙碌着部队建设。1954年9月，聂荣臻被任命为国防委员会副主席，他分管军工生产和部队装备工作。他先后视察了西南的许多兵工厂，深感科学落后的状况。在接受元帅军衔前，聂荣臻与陈云和薄一波一起，被中央指定为领导中国原子能事业的3人小组成员。1955年底，聂荣臻参加了朱德为团长的中国党政代表团去东欧和苏联作友好访问。聂荣臻在代表团中有一些单独活动，他在匈牙利国防部长巴塔上将陪同下参观了制铝中心艾卡城，还在波兰卡托维兹参观了化学试剂工厂。
到了1956年3月12日，聂荣臻签发了关于12年内我国科学对国防需要的研究项目的初步意见，系统地提出了人民解放军导弹、飞机、电子设备、激光、原子能、防化与军事医学等项目的研究发展计划。经讨论修改后，作为1956-1967年国防工业科学技术发展12年规划。与此同时，聂荣臻出席了周恩来主持的军委常委会议，听取了钱学森的汇报。这次会议决定组建导弹研制机构，并委托聂荣臻负责。聂荣臻建议成立航空工业委员会，负责领导导弹和飞机的研制工作，他则被任命为国务院航空工业委员会主任。