克格勃的组织机构十分庞杂，它的总部除设有各种从事情报、间谍活动的机构以外，还有两个特殊的部门：一个是高级俱乐部，一个是卢比扬卡监狱。卢比扬卡监狱是专门囚禁政治犯的地方，戒备森严，对外绝对保密，美国U2型高空侦察机的驾驶员鲍尔斯被俘后就关在这里。
克格勃总部下设若干个总局，总局之下又设若干局、处、科，形成了一个局中有局、处中有处的庞然大物。总局、局、处、科等各部门之间分工明确而具体，组织十分严密。它由四个总局、七个直属局和六个直属部组成，每个局、部又设有许多部门。克格勃的四个总局是：第一、第二、第四、第五总局。
第一总局：又称对外谍报局。主要负责对外间谍情报工作、全部对外宣传和国际交往的政治工作。它是克格勃情报间谍活动的策划和指挥部门，主要职责是通过派遣到世界各国的驻外人员和秘密潜入到别国的间谍、情报人员进行搜集情报、窃取秘密或破坏、恐怖、颠覆等活动。总局下设3个分局和20个处。主要分管情报、反情报、假情报、行动执行、伪装、联络通讯、假护照、档案、人事等工作。
第一总局下设的三个分局是：秘密活动局、科技情报局和分析研究局。
秘密活动局又称S局，主要负责间谍情报人员的选择和培训，并指挥潜入外国的间谍情报人员进行秘密活动。
科技情报局又称T局。它每年从各地的理工院校选拔一些高材生送进克格勃情报学校，训练他们掌握物色目标、鉴别材料以及窃取和传递情报资料的技能，结业后分配到T局工作。T局是第一总局的下属各局中第二大局。拥有一支由2000名专业科技人员组成的情报队伍，分别在国内外工作。他们不但有权决定出席国际会议的科学家人选，而且还派人随团出国直接与外国学者接触。在国外工作的T局情报人员大部分以外交官、科学顾问、公司代表等合法身分为掩护，从事科技情报搜集活动；一小部分以伪造身份和假证件非法潜入别国进行刺探、搜集有关研究、太空技术、导弹潜艇技术、电子工业、光学纤维、机器人等尖端科学技术的情报。
分析研究局又称I局。它是间谍情报活动的科研机关，负责研究、分析、总结间谍情报活动的经验、规律，并提供间谍情报活动的技术性设计和原则，以求指导和不断改善间谍情报活动。
第一总局还设有若干个直属处，有按国家或地区划分、负责对某国或某地区的间谍情报活动的地区处：如美国处、英国处、拉美处等等；或是按业务性质划分、负责某种专项业务的直属处：如负责炮制、伪造各种假情报的假情报处，负责暗杀、绑架的行动执行处，负责为间谍情报人员提供在外国进行间谍情报活动的掩护手段和技术性措施的掩护处，负责提供间谍情报活动技术工具的工具处等等。
强悍的苏联特工人员
第二总局：又称国内防谍局。主要负责管理、控制在苏联的外国人，对各国驻苏使馆人员及其他外国人进行监视和侦控，并对某些外国人进行收买、策反，以对抗外国的情报和间谍活动。苏联的很多向导、翻译、服务部门的工作人员都是这个局的成员。
该局下设13个部，其中有六个部是负责对付外国驻苏的外交人员的，并按地域或国家划分成美国及拉丁美洲诸国部、英联邦诸国（包括加拿大）澳洲部、西德奥地利及北欧诸国部、欧洲以外的“发达国家部”、欧洲以外的“不发达国家部”等等。另外七个部则分管外国游客、外国通讯社人员、外国留学生、外国商人、外国海员和申请出国的苏联人、电脑工作人员以及政府机关、企事业单位中重大的贪污、贿赂等案件。
第二总局下设的13个部中，以第七部规模最大，人员最多。该部的很多人员都是受过特殊训练、具有军衔的现役军官或预备役军人。他们被安插在旅游业各部门充当导游、翻译、旅行社的服务员，以监视在苏联的外国游客。
第四总局：又称边防总局。主要指挥和管理一支拥有数十万人并装备精良的海、陆、空边防部队。通过这支边防武装力量控制全部陆、海边境，负责陆、海边境的警戒和巡逻，进行出入境检查，搜集邻国情报，在第三世界国家“协助”编练和指挥部队，对国外进行破坏、颠覆和组织武装叛乱等活动，该局下设10个边防军区。
第五总局：又称秘密警察局。主要负责取缔反苏分子、镇压国内人民反抗的工作，并监视国内的知识分子，起着从侧面管制学校的作用。该局下设五个部（局）一个处。分管控制苏联国内的宗教信仰，推行大俄罗斯主义，进行民族压迫，监视有海外关系的苏联人或从国外来苏联探亲的人，审查进口书刊，侦察有“异端”思想的知识分子，实行对文化界的全面控制，同时还负责管理卢比扬卡监狱。
戈尔巴乔夫当政时的1990年，克格勃在当时的主席克留奇科夫的领导下，撤销了第五总局，在此基础上成立了宪法保卫局。
克格勃的七个直属局是：
军队监察局，内设12个处，其任务是通过监视陆海空三军并搜集其情报以统辖、控制军队，防止发生政变或其他越轨行动，其中包括监视国防部、总参谋部和红军情报局的活动。
监视调查管理局，负责训练克格勃官员和专职间谍，它有训练有素的3500名间谍情报人员专门进行跟踪、监视，并设有专职的案件处理员、技术员和监督员等。
通讯管理局，负责通讯联络、通讯密码的制定和翻译，掌握苏联同国外工作人员之间的一切密码以及有关通讯、侦察的现代化仪器和设施。
技术管理局，负责制造和供应间谍情报活动的工具和仪器。它拥有一大批科学家在秘密的实验室中研究制造各种化学药品、毒品和杀人器械等。
警卫管理局，负责保卫苏共中央政治局委员、候补委员等党的高级干部及政府部门的安全，并严密监视和这些要人及机关接触的人。
克格勃的暗杀武器多种多样，匕首只是他们常使用的一种。
工业机关保安管理局，主要负责某些研究中心、特殊生产机关和机要部门的安全，共设六个部，分管重工业、军火工业、核研究中心、对外贸易、外商、外国海员等工作。
人事管理局，这是克格勃的组织神经中枢，直接受苏共中央委员会组织部领导，负责克格勃的人事调动和吸收新成员。
克格勃的六个直属部是：
特别调查部，负责对克格勃和苏军总参谋部情报局（格鲁乌）的党政领导人进行调查，办理专案，而且每个专案都要由国家安全委员会主席亲自过目。
国家通讯部，负责控制全国的电台、电视台等全部系统。
保密检查部，负责保卫克格勃总部的安全，防止内奸和泄密行为的发生。
经验核对部，负责对苏联国内外间谍特务活动情况进行分析、研究和综合评述，并及时呈送极小范围内的领导人员参阅。
财政经济部，负责克格勃的财政预算和开支，掌握克格勃的财政经费。
档案登记部，又称档案中心。负责克格勃的全部档案，并随时将其综合、整理，编出索引。除此而外，还负责管理培养间谍的学校。它是世界上规模最庞大的资料部门。该部对各国在社会上有地位的人士、官员、科学家以及某个他们认为有可能加以利用或感兴趣的人都要进行调查，将搜集到的详细资料存入“档案中心”。它拥有数百万外国人的档案。另外，它对每一个苏联人都设有“红档”或“黑档”。“红档”是指一般情况记录，“黑档”是他们的重点调查对象。凡被列入“黑档”的人，都会受到国家安全委员会的监视，并不准他们到国外去。
除了上述的总局、局、部、处等组织机构外，克格勃还设有几个特殊的
部门，比如：驻外情报站，克格勃为开展国外的间谍情报活动，在苏联驻各国的使领馆内都设立了驻外情报站，其活动由第一总局领导。苏联隐藏在使领馆内的间谍情报人员，约占驻外使领馆外交人员的30％至50％。
克格勃秘密特种部队非常神秘，他们经常执行各种危险和艰巨的紧急任务……
驻外情报站是克格勃在驻在国进行间谍情报活动的指挥中心。在第一总局设有驻外情报站站部，站部领导五个业务科：情报科、反间谍科、科技情报科、潜伏支援科、行动破坏科。
克格勃驻外情报站在驻在国里设置的数目也不尽相同，如它在美国就设立了三个情报站。设在华盛顿的驻外情报站以驻美使馆为指挥中心进行活动；设在纽约的驻外情报站主要是针对联合国进行活动；设在旧金山的驻外情报站主要针对美国的电子工业中心硅谷。
特别后备队：这是克格勃内部专门以文化、贸易活动为掩护，从事间谍活动的部门。这一部门的成员都是专业人才，如学者、记者、外交官、工程师以及金融、贸易和国际事务方面的专家，经训练后被吸收为成员。他们仍担任原有的公开职务，兼职完成克格勃交给的任务。这个机构除了搜集情报、物色策反对象、监视驻外人员外，重点以文化贸易为掩护来影响舆论。其人员分部在东欧、西欧、北美和亚洲的苏联驻外银行、贸易办事处和政府机构。这一机构由全苏商会主席领导。1985年8月，克格勃官员尤尔琴科叛逃美国后，才将这一机构的部门秘密向外界披露出来。
“信号旗”秘密特种部队：“信号旗”在机构上归克格勃第一总局管辖，直接听命于第一总局局长，是该局的一个特别行动处。它的主要任务是：在敌人的大后方从事侦察情报活动，破坏敌方具有重要战略意义的目标，抢占舰艇和潜艇，确保苏联驻外机构的安全，同恐怖组织作斗争，夺回位于本国或友好国家领土被敌人占领的高度危险目标。动用“信号旗”的决定由政治局作出，而作战命令则只能由克格勃主席以书面形式下达。
该部队90％的成员掌握了一两门外语，所有的人员都受过高等教育。每一位“信号旗”战斗人员都必须掌握跳伞技能，学习格斗，能够熟练使用国内外的各种轻型武器。
在1991年“8．19”事件中，“信号旗”受命开赴最高苏维埃大厦进行实地侦察，准备进攻白宫。但上面始终没有下达进攻白宫的明确指令。1992年1月，“信号旗”划归新成立的俄罗斯联邦安全部。
精心编织的情报网
格鲁乌是俄罗斯军事情报总局的简称。第二次世界大战结束后，格鲁乌的战时情报网，因特工死亡、被捕和变节等原因，残破不全。幸存的一些最优秀的特工也已年迈，而战后国际形势依然严峻，冷战已经展开。为了加强对国外的情报工作，特别是对抗美国的活动，苏共中央根据当时担任外交部长的莫洛托夫的建议，于1947年成立统一的情报组织——情报委员会，把国家安全部的对外情报局、格鲁乌的战略情报局以及外交部的某些机构都合并起来，由莫洛托夫、维辛斯基、马立克和佐林先后担任领导，直接负责人是阿巴库莫夫。
情报委员会从开始建立时起，国家安全部的人员在委员会内即占据优势，由于不同系统间矛盾较多，工作效率不高，没有实现预期目标。到1948年底，从实际情况考虑，这项试验终于结束，格鲁乌撤出了这个委员会。情报委员会一直存在到1951年，它实际上成了国家安全部的一个分支机构。当情报委员会最终解散时，除了少数人员外，大多数都回到国家安全部，重新组建对外情报局。其余一小部分人员就转到外交部，继续以情报委员会的名义从事有关外国政情的调研工作，直到1958年。
1953年3月，斯大林逝世，贝利亚趁机把国家安全部并入内务部，免去内务部长克鲁格洛夫和国家安全部长伊格纳季耶夫的职务，自任内务部长。同年6月，贝利亚被捕，年底被处决。随着贝利亚的倒台，苏联军队在国家政治生活中获得了越来越重要的地位。朱可夫元帅担任苏联国防部部长、政治局委员，他很快就使原来被流放的元帅和将军都回来担任重要职务。他任命什捷缅科为总参情报部部长。
朱可夫取消了国家安全部在军队的所有特派部门，使总参情报部完全从属于军队的一个部门。格鲁乌又恢复了其在整个苏联情报体系中“半壁江山”的地位。1954年3月12日，设立国家安全委员会（简称克格勃）专门负责国家安全的各项业务，包括情报、反间谍、保卫、国内政治安全和边境保卫等；而内务部则负责国内社会治安、消防、交通、户籍等。从此，苏联的国家安全和警察两大系统最后确定下来。
从苏联特工活动整体来看，格鲁乌做出了积极和有效的贡献。西方的秘密情报机关普遍认为，格鲁乌的军官至少在专业上与克格勃中相应的人员具有同等能力。在特工活动方面，格鲁乌所采用的方法也大体上与克格勃相同。
“格鲁乌”的特工们在紧张地工作，他们的活动和工作原则大体和克格勃相同。
苏联在美国建立情报网的时间在20年代后期，到了30年代，苏联在美的特工活动日益活跃起来，国家安全总局和格鲁乌都建立了自己的情报网，共产国际的情报员也很活跃。苏联在美国设立的阿姆托格公司是国家安全总局进行间谍活动的良好掩护机构和大本营。
二次大战时期，由于欧洲大陆战火弥漫，在那里活动的情报组织和单独的情报员所搜集的情报常常限于地方事务和军事情报，不系统，也不完整，而且到1942年大部分情报网都被德国反间谍部门破获。在日本，左尔格情报网于1941年冬瓦解。这样一来，美国便成为苏联情报活动的主要对象。1942～1943年期间，为了执行战时租借法案，成百上千名苏联官员来到美国，其中有相当一部分是格鲁乌的特工，他们被安插在苏驻美国大使馆采购委员会及遍布美国和加拿大各地的领事馆和附属机构中工作。
为了共同对付法西斯，美国许多机关、企业、工厂都向这些苏联人敞开大门。苏联人则与工厂经理、科学家、工程师们进行广泛的合法接触，讨论科技方面新的发明和先进设备工艺，从中获取了大量科技和工业情报。
与此同时，还进行大规模的非法情报活动。据美国情报专家估计，在1942～1945年期间，苏联在美国的特工人员和被招募的情报员达数百名之多，这些人窃取了大量美国先进技术，对苏联的科技发展起了巨大作用。尤其在原子科学发展方面，为苏联节省了巨额经费和数年时间。据西方专家估计，如果苏联不从美国、英国和加拿大窃取到有关原子弹的设计图、试验方法和样品铀等情报，而摸索着重复其他国家的实验的话，它会需要10年或更长的时间才能达到美国在1947～1948年的水平（苏于1949年11月成功地爆炸了第一颗原子弹）。
共产国际的一个迷惑手段