横山堡，位于宁夏回族自治区灵武市东北33公里的水洞沟旧石器文化遗址以东四公里处，始建于明代正德十六年（公元1521年）。横山堡的得名与其所处的地理环境和历史背景有关。远在我国的北宋时期，为了防止西夏的进攻，北宋政府修建一条东北起自今陕西省神木县，西南到今甘肃省中部，包括今陕西省北部的横山山脉和陕甘两省交界的子午岭北端以及子午岭与六盘山之间的马莲河谷和清水河之间的分水岭地带的军事分界线，长1000余公里。据许伦的《九边图论·宁夏》记载，当时，这条军事分界线就被称为“山界”或“横山”。
明代，政府为了强化长城的军事防御功能，又沿长城修建了无数个堡寨，其中宁夏境内就修建了16处，而灵武市就占据了3处，分别是横山堡、横城堡和清水营堡。这是历史上第一次出现有关此堡的正式称谓。目前，在宁夏所有的正式官方文件中也一直采用“横山堡”的提法。红山堡因位于红山地区而得名。据史书记载，古时在夕阳的照射下，这里山峦一片鲜红，亦名“红山”，后讹传为“横山”。“红山堡”旧时也就一名“横山堡”。
明代，受到明蒙之间的战争影响，明王朝开始加强长城防御体系的建设，尤其是在河套平原丢失后，明军失去了防御的缓冲地带，而最易被突破的区域就在地势较为开阔的黄河以东的灵武、盐池一带。顿时，以该处为中心的宁夏地区就显得十分重要。顾祖禹在《读史方舆纪要》就评到：其为“关中之屏蔽，合陇之上噤喉”。据此，可以判断在明成化（公元1465～1487年）之后，灵武地区靠近长城的地带变成了明蒙双方攻防的必争之地。
受这一影响，在明建文年间（公元1399～1402年）设立的宁夏镇就显得十分重要。从地形上看，宁夏镇沿长城形成“几”字状，三面受敌。当时的三边总督刘天和言：“深以宁夏失险为尤。”
为了加强宁夏镇的军事力量，提高军事防御能力，明朝政府推出了一系列的措施：一是设置三道军事防线，其中以灵武和花马池（盐池）一线为第一道防线，该防线是蒙古铁骑入宁夏的大门，原则是力拼坚守。二是设立大量的边关堡寨，每个堡寨均有围墙。所修堡寨均采用削坡为墙和夯土版筑两种方法。在地形选择上，亦都修在依山带水且有制高点的地方。那时，由于对关、城、寨、堡在名称上并无严格区分，因而在修建的内容和等级方面亦无严格的区分。三是建立都司卫所，驻扎军队。同时，实施“屯田戍守”方针，即派军队屯垦驻防，所谓“三分操备七分种”。四是实施“随军守边”的政策，即规定屯田将士可带家眷，目的是减轻国家的负担，减轻将士的思乡之情，安心戍边。
依据上述的历史地理背景分析，横山堡应是明军在长城军事防线中的第一道防线的重要军事设施之一，其地位当等同于关的地位。
明代，为了“永固江山”，采取“屯田戍边”政策，建立“卫所制度”，同时还鼓励商人参加屯田，因此形成了3种屯田形式，即军屯、民屯和商屯。随着大规模的移民活动，新的文化现象也随之产生，这就是“屯堡文化”。屯堡文化被称为“明代历史的活化石”，包括建筑、服饰、婚丧、饮食、祭祀等多个方面，今贵州省安顺一带仍保留有这一古老的文化，堪称是活的屯堡文化。
从大峡谷可进入藏兵洞，出了洞口，就来到了红山堡。据说藏兵洞有3条通道可以进入红山堡，这只是其中的一个洞口，其余的两个洞口还没有找到，可见当年在这个立体防御体系中，上下连通，来往是非常的便捷。
红山堡是明代长城防御体系中的一个城障，始建于明弘治十六年（公元1503年），由总制陕西军务户部尚书秦纮奏筑，距今已有500多年。“红山堡”本属灵州千户所辖，其为正方形，边长均为300米，设东门一道，有瓮城，门向南开。墙高8米、底宽7米、顶厚4米，是按照明代长城沿线35公里一城、15公里一堡的防御体制设置的。红山堡东至清水营25公里，西至横城10公里。
初时，驻堡将士仅为“一百二员”，就是说戍守将士只有102人。到明英宗天顺年间（公元1457～1464年），瓦剌毛里孩、阿罗书、学罗忽三部渐强，入居河套。自成化元年（公元1465年）瓦剌三部不断寇掠陕西、宁夏。成化九年（公元1473年），王越于时属灵州的红盐池大败孛忽罗等部，迫使他们“渡河北去”。但鞑靼部渐强，小王子部又率众入居河套，经常侵扰边塞“杀伤以万计”使生产遭受严重破坏。这时，红山堡等长城沿线防守任务更重。明正德十六年户部尚书兼右副都御史，总制三边（陕西、宁夏、固原）的秦纮，委派宁夏都指使史镛扩建红山堡，南北长约380米、东西长约320米；瓮城长30米、宽20米。堡内驻军251名，设守堡官员、操守官各1名。城堡中，我们还可以看到原有的房屋基址。如按明代兵制，每5人分住一间营房，红山堡应有50多间房屋。在城堡西北台地处，我们能见到大量残破砖瓦和建筑构件残片堆积。这里可能是守堡官员的住所，在没遭到破坏前，可能是一座档次较高的恢弘建筑。
最初设置红山堡等城障的主要目的是加强长城线上的防守和“防秋”。所谓“防秋”古已有之，到了明代，鞑靼、瓦剌贵族仍然遵循突厥等游牧民族贵族的古例，就是往往于秋天马肥草盛之际，大举兴兵南侵，这时农耕还正值秋收季节。为此，从隋唐至明，每到这时就要调集大军戍边，以保护百姓秋收，因而称之为“防秋”。但客观上，其作用并不仅如此，如自嘉靖十年（公元1531年），王琼筑“头道边”，实施“深沟高垒”后，使长城内的“宁盐大道”和陕北有屏障保护的交通大道相衔接，从而成为商运往来的“黄金商道”。另外，又在横山至清水营各城障设立驿站，其中红山驿设驿马18匹，原有驿站3名，新添至7名，往灵州南下关中的驿道，比过去延长了60公里，是宁夏镇军事供应及军机文书传递、官员往来的必经之道，这就和“宁盐大道”共同构成了在军事保护下的两大主要交通线。还有一个重要的作用，就是长城内外各族人民出入清水营“马市”及“牛羊小市”进行商品交易和商贸往来，红山堡是重要通道之一。
据志书记载，明代长城沿线自横城起至延绥的今定边界，共有城障21座（城堡之间又根据需要修筑的小城堡称为“障”）。横城分边守备8.5公里，清水营守备18公里，两城营之间的9公里统归红山堡分边守备。这样红山堡一头挑着横城营，一头挑着清水营，其军事上的重要性显而易见，正应它在地理上的特殊性，藏兵洞的修建就更容易理解了，大约建于实施深沟高垒的嘉靖十年（公元1531年）。
红山堡及其他城障之北的长城基部，一般都设有“暗门”（即类似城门的拱形小券门）可使长城内外相通，由戍军把手，按照规定开启。除此之外，明代在修筑长城时，还于长城内侧每2.5公里筑有一座烽火台，红山堡属下有4座，即安边墩、大莺的长墩（此墩处城上有“暗门”）、镇罗边墩、窑儿边墩。烽火台为黄土夯筑，也称烟墩、烽台、烽燧、烽堠、狼烟台，俗称“烟火墩”。这种墩台，长城上也有设置，专用以军事报警，白天燃烟，夜间举火，依次递相燃放，军情很快就可传报到镇或州所。这种古老的报警方式，被誉为“世界上最早的无线电”。
明成化二年（公元1466年）的法令中规定：“合设烟墩，并看守堠夫，务必时加提调整点，须要广积杆草，昼夜轮流看望，遇有警急，昼则举烟，夜则举火，接递通报，毋致损坏，有误军情声息……传报得宜寇敌者，准其功，违者处以军法。”每座墩台一般设3个戍卒看守，日夜轮流值班。至于传递军情，其法令又规定：令边堠举放烽炮，若见敌一二人至百余人，举放一烽一炮；五百人二烽二炮、千人以上三烽三炮；五千人以上四烽四炮；万人以上五烽五炮。每座烽火台通常都配备有旗帜、鼓、弩、软梯、炮石、火药、火箭、狼粪、牛粪、柴草等。
据钟侃研究员回忆：1963年，著名考古学家裴文中教授在与考察发掘水洞沟文化遗址时，曾住在红山堡。2007年宁夏考古研究所对红山堡东北角和瓮城进行了考古调查、发掘。
从实地勘察看，横山堡堡城主体原貌已无，土筑的城垣残存。城的结构为正方形的“套城”形式，即由堡城和其子城（瓮城）组成。进堡之门开在西侧，堡的正门向南开。城墙高8米、顶宽4米、低宽7米。
在堡内还发现了一些明代的青花瓷和粗瓷的残片以及一些古陶残片、铁器。据了解，该处在20世纪60年代左右，有人还在此处发现了一块雕刻有异族风情的石块。另外，堡城周边有沟为之，沟内有深不可测的藏兵洞多处，令人十分迷惑。因洞内曲折，且暗器机关密布，目前，无人知其通向何处。
可以想象，数百年前的横山堡是何等的恢弘与热闹。