水洞沟的发现，在世界上引起巨大的轰动，引起考古学界的极大兴趣，在不同的时期历次进行了发掘活动。
第一次考古发掘（1923年）。1923年，法国古生物学家德日进和桑志华发现水洞沟遗址，这是中国最早发现的旧石器时代遗址之一。当时他们对水洞沟遗址命名了5处地点（第一至第五地点），并对第一地点进行了首次发掘。这次发掘进行了12天，有10位中国民工参与，发掘面积80多平方米，挖取土方900多立方米，采用自上而下逐层有序的方式进行，出土了大量的石制品和动物化石，其中石制品就有300公斤以上，动物遗骸化石有野驴、鬣狗、羚羊、牛、犀牛、马等，还有较多的鸵鸟蛋碎片。该遗址石器组合在中国旧石器文化体系中独具特色，显示了与欧洲和蒙古、西伯利亚地区旧石器时代中晚期石器文化的联系，受到了中外史前考古学界的强烈关注。水洞沟遗址的发现和发掘，纠正了“中国没有旧石器时代文化”的论断，揭开了中国旧石器时代文化考古和研究的新篇章。
第二次考古发掘（1960年）。1960年，中国和苏联组建的中苏古生物考察队，对水洞沟遗址进行了第二次考古发掘。在德日进曾经发掘过的第一地点挖了长宽各6米，深11米的一个探槽，出土了约2000件石制品。此后，贾兰坡、盖培、李炎贤先生发掘记录和所得的石器材料，于1964年2月整理发表了《水洞沟旧石器时代遗址的新材料》一文。
该文将发掘地点的地层由上到下划分为8层，使用的全部材料出自于第二层灰黄色粉沙土层，他们称之为水洞沟第一文化层，认为水洞沟遗址典型的和代表性的石器有尖状器、刮削器和砍斫器。有些尖状器完全可以和欧洲的典型莫斯特尖状器相比，不但加工的方法相同，而且器形也无二致。水洞沟的半圆形刮削器与欧洲旧石器时代中期的新月形刮削器相比，尽管原料有所不同，加工方法和器形却有一定程度的相似。对这次发掘中普遍存在的圆头刮削器，该文也认为器身薄的圆头刮削器与欧洲旧石器时代后期的平刮器有所类似，器身较厚而背面具有纵脊的圆头刮削器则与欧洲旧石器时代后期的船底形刮削器相接近。由两面打击而成的砍斫器虽然不多，与欧洲的典型两面器相比，虽然有所区别，但打制的方法则有一定的相似。他们在对这批材料进行研究后认为，这次从水洞沟发现的石器，在类型上既有旧石器时代中期的文化性质，同时也具有后期的特征。把这个遗址的文化时代固定为旧石器时代中期显然还会遇到某些困难，看来把它放在旧石器时代后期可靠性更大一些，因为后期的性质更为明显。
第三次考古发掘（1963年）。1963年8月，裴文中先生率领中国科学院古脊椎动物与古人类研究所考察队，对水洞沟遗址进行了第三次考古发掘（宁夏博物馆协助工作），第一地点出土了大量的动物化石和石制品。这次发掘采取自上而下的方式逐层进行。在河湖相粉沙下的底砾中，发现了磨光的石器和石磨盘，因而可以证明它的堆积时期是全新世，是新石器时代，而不是旧石器时代。从而第一次明确了水洞沟不是单一的旧石器时代文化遗址，而是包含了旧石器时代和新石器时代两个不同时代的遗存，只有底砾层（第七层）下部才是旧石器时代晚期的遗存，代表水洞沟文化的面貌。
与此同时，考察队还在水洞沟遗址西北长城外北约500米处，即当年德日进曾进行过调查、且判断为新石器时代的地点进行了调查。调查采集的材料虽然均出于地表，缺乏地层的可靠依据，但张森水对其中的非细石器工业制品进行研究后认为，其时代可能为旧石器时代晚期的最后一个阶段，与水洞沟文化进行比较，两者都有相似的石核、长石片、部分端刃刮削器、尖刃器（尖状器）以及用软锤打片和用指垫法技术等。他认为以加工精细的尖刃器为代表，有清楚指垫法修理技术的这一组合，在水洞沟文化中已有体现，从而认为它有可能是在水洞沟文化的基础上形成的。但是，他同时又提出了另一种假设，即在旧石器时代晚期，存在着广泛的文化交流，似乎有一群掌握莫斯特和奥瑞纳技术的人群在河套地区、黄河沿岸活动过。对这个地点存在的另一类细石器工艺制品，他的看法和当年德日进等人的相同，认为此处属新石器时代。
第四次考古发掘（1980年）。1980年9月4日～10月11日，宁夏博物馆和宁夏地质局区域地质调查队组成联合发掘队，对水洞沟遗址进行了第四次考古发掘。在发掘过程中，中国科学院古脊椎动物与古人类研究所贾兰坡、黄慰文先生及中国科学院地质与地球物理研究所周昆叔先生等亲临现场精心指导。
这次发掘地点选在1963年发掘坑位的东北部，坑位呈不规则方形，发掘面积约52平方米。根据地层沉积物的差别，这次发掘共分为16个地质自然层。当发掘到深6米处时，在坑位的东北角1.5米×1.5米范围内的同一层位中发现了密集分布的刮削器、石核、磨石、石叶、砍斫器等石制品，还有面积为0.5米×0.5米、厚5厘米的灰烬和混合在一起的骨屑、动物牙齿等，据推测可能是人类的露天活动营地，即当年德日进、桑志华在报告中称的“炉灶”。
这次发掘共出土动物化石15种、63件，均为破碎的残骸，包括碎屑在内。石制品6700件，其中仅旧石器时代晚期层位出土的石器就有5500余件。这次发掘进一步肯定了水洞沟遗址的地层可分为晚更新世和全新世早期两个时期；认识了石制品中存在大量的有意识截断的石叶，是用来合成镶嵌工具的“刀片”，这种认识在国内已发表的旧石器文化遗址发掘报告中似乎未曾见到过。
第五次考古发掘（2003～2007年）。2003～2004年，中国科学院古脊椎动物与人类研究所和宁夏文物考古研究所联合考古队，对水洞沟遗址进行了第五次考古发掘。中科院古脊椎动物与古人类研究所、宁夏文物考古研究所、北京大学、吉林大学、厦门大学、郑州大学、中科院地质与地球物理研究所、中科院地球环境研究所、浙江考古研究所和云南考古研究所10个单位的专业人员21人，参加了这次考古发掘。
2003年7～9月，对水洞沟遗址第二地点进行了发掘，同时在第七、第八地点也进行了小规模的发掘。根据灵武文管所提供的线索，在遗址西部的第四地点清理出一具人类头骨。在第二地点按正南正北方向分布1米×1米的探方16个，另外清理不完整的探方4个。T1完整探方剖面，发掘面积约42平方米，深度14.7米。T2探方的第一文化层，发掘面积约18平方米，深0.12米，包括上部地层3.25米，石制品密集分布。在清理崖壁剖面时，对第二文化层进行了局部发掘，出土了2664件石制品和用骨片和鸵鸟蛋壳制作的环状装饰品以及少量动物化石碎片（块），并发现大量的灰烬和厚约5厘米的棕红色烧土面。在第七地点第一文化层的上部，发掘面积23平方米，包括上部地层6.9米。在厚约50厘米的河漫滩相粉细沙层之下，出土标本2006件，绝大多数为石制品，少量为动物化石碎片（块）。在第八地点尚存的文化层，发掘面积16平方米，深0.6米。在层厚40厘米的经剥蚀的粉细沙层20厘米以下，出土标本801件。其中，除8枚用骨片和鸵鸟蛋皮制成的精美环状装饰品外，其他均为石制品，此外还清理出灰烬等用火遗迹。考古队在第四地点清理出的一具下颌骨缺失、近于完整的人类头骨，如果其年代与水洞沟文化同期，对探索水洞沟文化的来源和晚更新世东西向、南北向人类的迁徙和融合具有重要意义。
2004年8～9月，完成了第二地点T2探方第二、第三文化层，发掘面积约34平方米，深1.6米；第七地点第一文化层，发掘面积23平方米，深0.8米。出土各类石制品8360件、包括烧骨在内的动物骨骼化石818件、动物牙齿33件、鸵鸟蛋皮化石4件、环状装饰品69件、植物残骸2件、烧土标本2件。
2003～2004年对水洞沟遗址的考古发掘，共出土各类标本14759件。在多个地点和地层中发现的大量烧灰、烧土、炭屑等用火的遗迹和与之相关的生活遗迹，为研究当时水洞沟人的生存状况和行为方式提供了重要证据。出土的环状装饰品是迄今发现年代最早的磨制工艺品，其精美程度为我国旧石器文化中所罕见，极大地丰富了水洞沟的文化内涵，为研究当时人类生产力发展水平、技术演化、艺术品加工使用情况及其行为模式和审美能力提供了重要资料。
发掘工作采用了与国际接轨的新方法，获得了较为完备和准确的全方位信息。在发掘中，除了严格按照田野工作规程逐层、逐方进行之外，还对石器、化石、烧骨和装饰品逐件进行了三维测量，记录其三维坐标、走向、倾向、倾角等产状。
在发掘期间，对现场采集到的地质、地层、年代和环境样品进行了整理、分析和测试，对相关地层和遗迹现象进行了系统高密度取样或测量，同时在全部剖面上作了密集的热释光取样和磁化率测定，对野外测量数据进行了计算机录入和分析。为研究古人类生存年代和环境提供了科学、精确的数据。
本次工作在水洞沟遗址区的多个地点，发掘出多个不同的文化层位，扩大了水洞沟遗址的时空范围，为寻找水洞沟文化体系的分布范围和来龙去脉提供了资料；并通过分布关系的资料和信息，对正确判断遗址的性质、各种营力的作用和拥有材料的完整性具有重要的作用。对水洞沟遗址、黄河——水洞沟地区建立了新的5级阶地认识。
本次发掘过程中的一系列工作、教学程序的设计和实施，推动了中国旧石器考古学田野发掘和标本处置规范的建立及专业人员业务水平的提高。中国第四纪研究的泰斗刘东生院士高度评价了此次发掘的组织实施和教学活动，称其为“中国旧石器时代考古学‘文艺复兴’的标志”。