1920年，法国神父、地质古生物学家桑志华在甘肃省庆阳北的辛家沟和赵家沟发现了几件具有人工凿痕迹的石英岩制品。与此同时，传教士比·肖特在灵武水洞沟以东5公里的横山堡一处冲沟中发现了一个披毛犀的头骨及一件经人工打击的石英岩。这些标本很珍贵，当时交由天津北疆博物院（天津自然博物馆的前身）保存。1923年夏天，法国古生物学家德日进受法国自然博物馆、科学院的委托和资助，应桑志华的邀请，到鄂尔多斯地区进行地质和古生物调查时，发现了水洞沟遗址，随后他对此处遗址进行了发掘。
当时的灵武，在马鸿逵的统治下，兵荒马乱，民不聊生，横城一带早已失去了往日的繁荣和热闹，显得荒凉、冷清，只有远处耸立的古城堡告诉人们这里曾有过呐喊，有过辉煌。德日进的知识面很广，尤其是考古、历史、文学方面的知识积淀很深。他来到横城及水洞沟后，立即开始了挖掘工作。
这次的发掘进行了12天，由当地的10名民工参加了此项工作，发掘面积80多平方米，开挖土方900多立方米，采用自上而下、逐层有序的发掘方式进行。在发掘中，两位欧洲学者发现，水洞沟遗址“正像典型的欧洲炉灶遗址”，居住层厚50厘米，除成百件石器碎片外，还“混合着碎骨和炭屑的痕迹”。石制品非常丰富，发掘中获得石制品达300公斤以上。虽然没有发现人类骨骼残骸，但发现的动物化石还是不少，包括野驴、鬣狗、羚羊、牛、犀牛、马等，还有数量不少的鸵鸟蛋皮碎片。这次发掘的面较广，除发掘了水洞沟遗址的第一地点外，他们还在水洞沟到清水营东西长约28公里的较大范围内进行了调查，又发现了数个有考古价值的地点。因此，他们认为在整个水洞沟盆地的黄土中，“都埋藏着许多完全一致的旧石器时代制作场遗址。这是由住在该区域的居民所留下的”。这一意外的收获，令两位欧洲古生物学家大为惊叹。1925年，德日进和桑志华发表了水洞沟调查发掘的报告。1928年，布勒、布日耶、桑志华、德日进出版了《中国的旧石器》一书，公开发表了他们在鄂尔多斯、水洞沟和萨拉乌苏河等地调查发掘的全部资料。在书中，他们详细地叙述了水洞沟、萨拉乌苏河等地的地质、地层和古生物化石，并对华北地区地质地层提出了看法。布日耶着重对水洞沟和萨拉乌苏河的石器进行了研究，他将水洞沟的石制品与法国旧石器文化中、晚期莫斯特、奥瑞纳、梭鲁特文化期的石制品进行了详细的对比，认为“在水洞沟采集的值得注意的材料（至少有1/3），可以同我们欧洲、西亚和北非已演变的莫斯特人类栖居地的材料相提并论”。他得出的结论是：水洞沟石器工业“好像处在很发达的莫斯特文化和正在成长的奥瑞纳文化的半路上，或者是这两个文化的混合体”。对于这种地区相隔遥远、文化雷同的现象，布日耶认为是“大距离迁移的同化影响”，“这种同化作用的影响是一种特别古老的现象”。
此后，有关学者根据他们的研究结果，将水洞沟遗址和萨拉乌苏河联系在一起并称为“河套文化”。1937年，裴文中先生在介绍德日进等人的工作时使用了“河套文化”一名，并将其作为中国旧石器时代中期文化的代名词，这一不恰当的提法延续到20世纪60年代以后才逐渐被废弃。
解放后，有关学者又先后对水洞沟遗址进行了多次调查和发掘，其中1960年中国和前苏联组建的中苏古生物考察队发掘了一个长6米、宽6米、深11米的探槽，出土了约2000件石制品。然而，由于中苏关系恶化，这次合作中途夭折，幸好参加工作的中方科学家根据中方保留的纪录和石器材料，发表了《水洞沟旧石器时代的新材料》一文，对水洞沟遗址进行了进一步研究，并得出一些新的结论。1963年8月，中国科学院古脊椎动物与古人类研究所的裴文中先生率领的考察队对水洞沟遗址进行了系统发掘。这次发掘获得了大量的新材料，并对水洞沟遗址的文化内涵有了进一步的认识。1974年，著名旧石器考古学家贾兰坡先生对水洞沟遗址进行了考察，然后提出了自己的看法：水洞沟文化和萨拉乌苏文化是不同时期的，而水洞沟文化的年代还会更晚些。这个看法，不久被一系列的年代测定所证实。自1923年德日进先生发现水洞沟遗址并对其进行发掘，直到20世纪70年代末，50多年间，水洞沟经过3次较系统的发掘，对水洞沟文化的性质、文化面貌的认识逐步有所深化。但由于各种原因，致使水洞沟文化的全面深入研究仍然存在着缺陷，急需新的工作。
1980年，宁夏博物馆和原宁夏地质局区域地质调查队经过商议，组成联合发掘队对水洞沟遗址进行了再次发掘。发掘的坑位选在1963年中国科学院古脊椎动物与古人类研究所发掘坑位毗邻的东北部，为南北向，西壁长8米，北壁长8米。因遗址南邻边沟，东壁的南缘已被河水冲刷坍塌，故东壁只有5米。发掘坑呈不规则方形，发掘面积约52平方米。此次发掘的坑位一直保留至今。今天游客到水洞沟遗址参观，导游所指称的发掘地点就是1980年发掘的坑位。
根据刘东生先生《水洞沟1980年发掘报告》一书所述，这次发掘从一开始就注意了地质地层、年代测定样品、古人类生活自然环境研究资料的全面采集。发掘出土了动物化石63件共15种，石制品6700件等一大批遗物和遗迹。可以说，这是水洞沟遗址发现以来规模较大、涉及研究领域较广、获得材料较多、获取材料范围较广的一次发掘。
目前，关于水洞沟遗址已经有了一个初步的结论。这个研究结论既是在前人工作的基础上形成的，也是通过对1980年发掘材料进行系统整理和研究后得出的，既纠正了前人对水洞沟遗址的一些错误认识，又提出了新的观点和看法。应该说，这些认识和看法代表了对水洞沟遗址文化内涵的最新观点。
2003年至2005年9月，中国科学院古脊椎动物与古人类研究所、宁夏文物考古研究所合作，在距前几次发掘地点———第一地点100米以外的第二地点又进行第五次大规模发掘。这次发掘受到国家有关部门的高度重视，由科研院所、高等院校的考古专家、技术人员、博士后、博士、硕士和大学在校生组成了规模较大的考古队。这次发掘集中了旧石器考古学、古人类学、第四纪地质学、地貌学、古环境学、年代学等方面的专家，人员来自七八个单位，是我国考古发掘现场集中专业人员最多、总体学位最高的一次田野考古。这个队伍集中了我国当代考古界比较有权威的力量，它的构成在近百年来是前所未有的。考古队的工作细致、认真，在距地表几米的地下，经过用小铲等工具的挖掘，二三十枚曾被26000年前的先民们用过的石器逐渐裸露出来，一块动物的椎骨化石也凸现出来。据中国科学院古脊椎动物与古人类研究所副所长和研究员、此次发掘主持人高星博士介绍，发掘在3个地点、4个发掘区进行，发掘面积达80多平方米。发掘揭露出5个文化层。第一层出土了大量的石制品、装饰品和动物碎骨。第二层发现了火塘、灰烬、烧烤面等先民生活的痕迹，伴有丰富的石制品、装饰品和动物化石出土。这个发掘层内容相当丰富，因而学术意义最重要。在这里，许多地方的泥土被烧成了红色，说明人类在此生活过很长时间。第三、第四、第五文化层均有石制品出土，代表人类在此生活的不同时段。五个文化层的发现，弥补了前几次发掘未进行精细划分的缺憾，为研究水洞沟文化的渊源找到了珍贵的资料。出土的石器有2．5万件之多，有石核、石片、石叶、刮削器、尖状器、端刮器等多种。
有些石器制作相当精美，在中国旧石器时代考古遗存中十分罕见。发掘中还发现了许多动物骨骼，有鸟类、鼠类、马、鹿等，但多数都太破碎，不易辨别种类。这次挖掘并没有发现人类遗骨。整个遗址也仅于数年前在第一地点修路时发现一小片人类的头骨。水洞沟人究竟是什么样？这个未解之谜，只好寄希望于以后的发掘。
这次发掘，最令人惊喜的是发现了近百枚用鸵鸟蛋皮制作的装饰品。
这些装饰品直径在0．5~0．8厘米，状如纽扣，中间有可供穿连的均匀穿孔，周边光滑，是我国年代最早、制作最精美的装饰品。这些鸵鸟蛋皮装饰品，形状相近，具有专业化生产的特征，充分反映了当时人类的技术水平。尤其值得一提的是，这些装饰品都被赤铁矿粉染过。在遗址中还发现了小块赤铁矿粉块，而在其附近并没有发现赤铁矿。那么，先民们是如何采集、研磨这些颜料的，更是耐人寻味。
这些考古发现，为我们提供了十分珍贵的信息。大量的沉积样品分析和大量的出土标本研究可以帮助专家复原当时人类生存环境、区域自然条件变迁规律，窥测当时人类文化、技术的发展变化，建立精确的年代学框架。遗址初步的年代测定结果在距今2万~3万年，属旧石器时代晚期。
水洞沟文化具有我国华北旧石器时代晚期文化的一般特征，如工具的毛坯以石片为主，工具以各类刮削器为最普通，加工修理以直接的锤击法和由腹面向背面单项修理为主，有少量的细石器，等等。通过研究发现，在水洞沟文化中确实存在着欧洲旧石器文化传统，如长身石核、盘状石核、石叶、尖状器、新月形边刮器、端刮器等，与欧洲莫斯特文化和奥瑞纳文化同类器物有很高的相似性。可以说，水洞沟遗址石器所包含的技术类型特征既具有华北旧石器的传统，也包含了欧洲旧石器的风格，它们的发现对东西方旧石器文化的对比研究有着重要的意义。
从水洞沟兼有东西方两种文化特征的事实，许多专家认为：水洞沟文化是华北旧石器文化与欧洲旧石器文化互相渗透、相互影响的产物，同时，又影响到了整个华北旧石器的发展。
水洞沟遗址是我国最早经过系统发掘的旧石器时代文化遗址，也是我区境内最早进行考古活动的遗址。虽然是欧洲人进行的，但它无疑是目前所知宁夏现代考古的第一次。水洞沟遗址的文化内涵又是深厚复杂的，它既具有本土特色，又具有欧洲特色，是宁夏境内最早的东西方文化交流的产物。水洞沟文化所具有的文化内涵产生于荒蛮，影响于后世，引起了世界各地研究旧石器时代文化的专家、学者的广泛注意。正如著名地质学家、国家自然科学奖获得者刘东生院士在《水洞沟———1980年发掘报告》一书的序中所说：“水洞沟不同于一般的考古遗址。它是一个东西文化交流中不断迸发出明亮火花的闪光点。从2万年前猎人们之间的往来，到现代东西方科学家的共同工作，都体现了这种东西文化的交流与碰撞。今天，那些在20世纪初为了寻求科学真理和人类价值而到东方来，并为中国科学事业做出过贡献的西方科学家们，以及为旧石器考古学在中国土地上生根开花倾注了毕生精力的裴文中和贾兰坡先生已经离开我们。但是，他们的精神，他们的事业，以及他们所开拓的东西文化交流与世长存，并必将发扬光大。”