新中国建立后，谭政参与了《中国人民解放军政治工作条例》的制订。1955年，谭政被授予大将军衔。1956年，他在中共八大上作了题为《建军新阶段中政治工作若干问题》的发言。
1954年，谭政出任中国人民解放军总政治部第一副主任，协助总政治部主任罗荣桓，主持总政治部的常务工作，同时出席了第一届全国人民代表大会。
其实，早在谭政调京前就已参与了总政治部的工作，他参与了修改、审定和印发《中国人民解放军政治工作条例》的工作。他根据自己多年政工的丰富经验，强调了部队各级政工人员的地位、职责和作用，突出了部队政治工作的重要性。在他的积极参加、参与下，修改后的《条例》总结了人民解放军所特有的丰富建军经验，简明而系统地阐述了毛泽东提出的人民解放军一整套政治工作的方针和方法，对人民军队政治工作的性质、任务、职责、组织形式、工作作风以及与各方面的关系，都作了明确的规定。1954年4月，《中国人民解放军政治工作条例》，经党中央和中央军委批准，正式在全军颁布实行。
谭政进京不到一年，全军分批开展了军队的肃反运动。谭政对军队的肃反工作，既严肃又认真。在运动中，他遵循党的方针、政策，既打击了真正的反党反革命分子，又保护、挽救了一大批干部。他始终坚持“批判错误从严，定案处理从宽”的原则，尽量做到少出、不出偏差，他总是说：“给一个犯错误的同志定性作结论，总还得给他个改正错误的机会，不要一棍子打死吗！”
有一次，谭政去基层视查工作，某省军区政治部汇报了该部下属有一位政工科长1947年伪造了一份入党志愿书和一封党员介绍信，乘分配到新工作单位之机，“混进”了党的组织。这个人的问题已全部调查核实完毕，本人也如实作了交待，现将被定为混进党内的政治骗子清除出党。
谭政听完汇报后询问了这个入伍后表现，得知他“一贯表现较好，作风正派，能联系群众，工作上有一定成绩”后，他又问：“根据他的一贯表现，是否具备了一个共产党员的条件？”汇报人回答说：“可以说基本具备。”问明详细情况后，谭政表示：“我看这个同志，既不能定为混进党内的政治骗子，也不能当即清除出党。”
语惊四座，该军区领导干部都挺纳闷的。但谭政不紧不慢地解释说：“他当时采取那种手段混到党内来，做法上显然错误。但事实证明，他入党不是别有用心，想干坏事，这和政治骗子完全不同。如果1947年他不那样做，根据他在部队工作的表现，也可能早就入党了。我看还是为他补办一个入党手续，帮助他成为一个合格的共产党员，他一定会为党继续努力工作，这对党有益而无害。”
听了谭政一番入情入理的话，在座的诸人都释然了，不由暗暗佩服谭政这位老政工。
1956年，谭政根据自己的工作实际，在军委扩大会议上，以《关于军队肃反工作的总结报告》为题，作了生动的报告，对军队内的肃反工作，做深入、系统的经验总结。既讲了成绩，也指出了工作偏差，报告得到了与会者的一致赞同。
在以后历次的政治运动中，谭政始终公正地把握着宽严标准，保护与挽救大批干部。1957年在反右期间，某军一领导人向谭政汇报说，“内定”的师团职干部“右派分子”的定性标准难以掌握。谭政便派出工作组去帮忙，并对派出的工作组当面交待说：“对划为右派的复查定案，是件很细致的工作。对人的问题一定要慎重对待。要注意接受历史的教训，打击面不能太宽。”这样，工作组通过逐人逐事复查，将原来“内定”的“右派分子”的名单刷下了一大半，谭政又很好地保护了一批党的军队干部。
谭政主持总政党务工作以来，在部队的建设上做了大量的工作，为部队的正规化、现代化及其政治工作做出了突出贡献，再加之新中国建立前谭政对革命的贡献，1955年9月，他被授予大将军衔，荣获一级八一勋章，一级独立自由勋章，一级解放勋章。第二年，党的八大胜利召开，谭政在会议上作了题为《建军新阶段中政治工作的若干问题》的发言，对新阶段部队中的政治工作经验作了总结。
谭政在发言前将稿子分送邓小平、彭德怀、罗荣桓、黄克诚等审定。彭德怀、黄克诚对谭政的发言稿作了肯定的批语，邓小平在文字上还作了改动。
1958年1月，谭政(左一)等和苏联陆海军总政治部代表在北京参观“汽车俱乐部”的各种文体器材。发言中，谭政介绍了时代变化的背景、特点之后，单刀直入，提出了如何认识政治和军事技术的关系问题，他提高了语调：“现阶段的政治工作，应正确认识政工和军事技术的关系。在现代战争中，技术条件的重要性是大大地提高了。没有现代技术装备，没有高度技术水平的诸兵种合同作战，单靠人的勇敢是不能在战争中取胜的。目前来说，我们在军事科学、技术和现代指挥方面的知识，不是很多，而是很少，技术的薄弱仍然是当前军队建设的一个主要问题，我们必须用最大的努力来克服这种落后状态，并争取若干年内在军事技术上赶上其他先进国家的军队。”
接着他话题一转，又谈到了人的因素、政治因素的重要性。他说：“但是，我们强调技术的重要，并不是主张可以降低人的作用。相反的，人的因素始终是战争中的决定因素，经常起作用的因素。在技术条件日超复杂，兵种增多，战争更加残酷的条件下，更需要发挥人的作用。技术是由人掌握的，任何新的技术只有同人结合，才能发挥作用。”
为此，谭政特别强调道：“必须加强部队文化教育，使各级干部文化程度若干年内达到大专以上水平，并加强普通战士的文化学习。加强部队军事训练，提高军事素质。只有这样，我们的军队才能真正实现正规化，成为一支战无不胜的国防军。”
最后，谭政指出了目前在部队工作转变过程中所发生的几种偏向，这些偏向大略表现为：忽视官兵一致，上下一致的传统；忽视思想工作，不走群众路线；在学校教育与部队训练中，存在脱离实际的教条主义和形式主义；军队同人民群众的关系同地方党的关系，较前疏远。”针对上述问题，谭政还提出了新的历史阶段军队政治工作的任务和方法。当他发言结束时，会场上掌声雷动。
这篇发言是人民解放军在新阶段政治工作的极为重要的历史文献，被编入八大的文件汇编之中，中央军委将其作为建军的重要文件印发全军。
在八大上，谭政被选为中央委员，之后又当选为中央书记处书记。同年12月，谭政出任中国人民解放军总政治部主任，主持全军政治工作。同时，他还担任中央军委委员、军委常委、军委办公会议成员、人大常委、国防委员会委员、国防部副部长等职。虽然担任党、政、军重要领导职务，但谭政仍一如既往，始终保持艰苦朴素、谦虚谨慎、严于律己的革命传统精神，从不向国家伸手、搞特殊化。
一次，谭政到东北检查部队工作。当地政府出于对首长的尊重，特在政府机关招待所餐厅里摆了一桌酒席，并把茅台酒说成东北地方名酒，把熊掌说成牛蹄，把鱼翅说成……当谭政入席时，看到桌上摆着的高档酒菜之后，便大发雷霆，严厉批评了当地政府的不正之风，并要退席。后来经过再三劝说，在当地领导答应撤下高档酒菜后，谭政才出于礼节，坐下来吃饭了。
据谭政秘书乔希章、佟印回忆，新中国建立后，1954年9月，谭政调北京后，组织上配给他一套住房。该房设施简陋，常年失修，但他从来没有提出修理或更新。当管理部门决定拆去旧厨房重修一座新厨房，并加大取暖锅炉的时候，被他拒绝了。
谭政任总政治部副主任、主任十多年，从未动用公款请过一次客。若有熟人来看望他或谈工作，到了吃饭的时间，也只不过让炊事员临时加个菜，一同就餐。但每逢过节、过年，他总是把秘书、警卫、司机、炊事员请在一起聚餐、打扑克、说笑话，一同娱乐。而他的家属偶尔坐了谭政的车子去办私事，谭政就告诉司机：“一定按规定收费！”