水洞沟将军府邸遗址的真实面目还藏在历史的面纱下，尚无定论。大部分建筑已经荡然无存，由此在推测中有了山神庙和将军府邸两种说法。根据这处建筑遗址位于“亭障”的遗址之旁情况，多数人认同后一种说法。
众所周知，明初，长城以北是为元朝的残部逃往北方，时为“北元”所占有，后来“北元”又经分裂，遂形成了鞑靼和瓦剌，鞑靼在东，瓦剌在西，它们不断南侵，占据了河套大部。明政府为抵御鞑靼和瓦剌，就于其疆域的北端修筑了长城，大多是被动防守。明朝既沿长城设防，就在沿线建立了一系列配套的军事设施，其中之一就是亭障，又叫城障。《史记·武帝本纪》注：“障，山中小城。”《汉书·张汤传》唐朝颜师古注说：“障，谓塞上险要之处，别筑为城，因置吏士而为障蔽，以捍寇也。”
可见，水洞沟城障，是供守卫长城的军队驻扎，储备军需的小城，也即一个兵营，管辖附近这段长城和若干墩台，执行着长城沿线的防守任务，隶属于灵州千户所。如果把它们恢复起来，将直观地看到明代将军府邸的建筑风格及障的形制。如果说它是一座山神庙，似乎不符合明代“摆边”的建制。
清代《嘉庆灵州志迹》载：“前明嘉靖筑河东墙后，尽减其马以省草料之费，息喂养之劳。帷置军火沿沟垒守之，谓之‘摆边’，也就是说，明嘉靖年间修筑长城后，为了节约军费开支，把戍守之军的马匹减去，以节省草料的费用，只沿垒布置军士戍守，因称之为‘摆边’”。既然为沿边沟设防戍守，守军无马，轮值时必不能来回走得很远，所以必以近处设置城或障，以便于屯军。这座障就因此而设，是戍军将士守卫屯驻之地，兼屯粮和存放军械。
明朝边疆危机时起，故卫所兵力较多地集结于九边，全力捍卫疆土。洪武、永乐两位皇帝先后强调攘外安内、强兵富国。其主要措施是发展屯垦，开荒实边，积粮增谷。在实施过程中，首先强调屯军。明太祖朱元璋早在南京称吴王时就曾明确提出“兴国之本，在于强兵足食”。
当时，因庞大的军费开支形成财政压力，加大人民特别是农民的负担，使其民穷地荒，以致赋役无征、军饷见绌。为了使农业经济或民间经济和军事活动不发生矛盾，对封建政权的巩固产生积极作用，朱元璋决定于国内下达屯田令，尤其是在主要抵御外侵略的长城沿线，全面开展军事屯垦。明朝统治者将国防的重点放在了北部边疆，在塞上布防近80万官兵。为此，曾在“九边”（甘州、固原、宁夏、延绥、大同、宣府、蓟州、辽东、山西三关各镇）及其附近大搞农垦，即分别以军屯等方式加强边地经济建设，从而支持了塞外的军事活动，改善边地的驻军设备，进一步充实九边的物质力量。
将军府邸遗址，从形制上看，它占地面积不算太大，但推测当初的建筑应该十分宏伟，是一座歇山顶式的建筑，当是长城戍守屯驻的下级军官府邸。三块精致的石刻，两个是位于府门前左右的鼓型旗杆座，它们代替了古时的夹杆石，是用以固定插在杆座中的军中大旗的。另一个是府门前的装饰石，俗称“石面”，本应有两座，分别立于府门前，左右各一。从残存的砖瓦来看，这座将军府一直延用到清代，后来大约经过修缮。而今已经无从考证，这座将军府邸曾经住过哪些守边的将军。