金城关是兰州人的又一个情结。这座西北著名的一座关城，是因防守黄河渡口而修建的，它既可控制黄河桥，也可以盘查行人，同兰州城相辅相成。
对于金城关修筑的确切时间至今人们尚不能确定。民间传说“先有金城关，后有兰州城”。有记载说它建于汉代，而《元和郡县图志》则说它是在隋开皇十八年（598年）由金城津改建而成。也有人说，最初金城津关址在今西固沙井驿大桥附近，至北周武帝时，移至今兰州市黄河北岸中山铁桥西约1公里处的金山寺西山腰处。据《读史方舆纪要》载：“金城关，州北二里，当黄河西北山要隘处，本汉置。阚《十三州纪》：金城郡有金城关。”《元和郡县图志》谓：周武帝置金城津，隋开皇十八年（598年）改津为关。《重修皋兰县志》四册记：“金城关汉置，隋有关官，唐因之，宋绍圣四年（1097年）重筑，明屡加修葺。”志书各说不一，但金城关由来已久是肯定的，其名称的出现距今至少有1400百年的历史了。
自隋朝至今的1400多年中，金城关非常繁忙，到中原的西域商人，去印度取经的高僧，为中央政府传递信息的使臣都从这里经过。唐玄奘、林则徐、左宗棠等许多重要的历史人物都从此经过，留下了一段段的感人佳话。
北宋时，兰州是北宋和西夏发生拉锯战的地区，这一时期，黄河河道也逐渐北移。1081年北宋李宪率军从西夏手中夺回兰州以后，于是便开始全面加强兰州地区的军事防御设施建设。
神宗元丰六年（1083年），北宋和西夏在兰州发生大战，当时西夏动员80万人参战，并派兵持盾牌准备爬云梯登城，城上的守军以弓箭御敌，当时箭如雨下，后来西夏部人因粮草供应不足而撤退。在这个背景下，北宋政府为了防御西夏反攻，充分发挥黄河天险的作用，在黄河北白塔山下边又重新修建了金城关，其目的是防守黄河渡口。
“倚岩百丈峙雄关，西域咽喉在此间。”金城关北倚高山，南临大河是沟通中原和西域的要道。山与河之间，仅容一辆车通过。可谓是“一夫当关，万夫莫开”。对于金城关历代都有修葺，其中规模比较大的两次在明代。明代探花郎黄谏在他的《金城关记》中记述了正统十年（公元1445年）重修金城关的情况，当时人们拓展了金城关的外围，修筑垛口，并且在关城内还修建了真武殿。三十多年后，金城关再次被人们重修，这次将关城扩展到了黄河边，为了防止敌人火攻，在门上还修建了注水孔。
雄险的金城关，可以凭关固守，使黄河以西、以北的少数民族望而却步。“云雷天堑，金汤地险，名藩自古皋兰；营屯绣错，山形米聚，襟喉百二秦关。”“金城置郡几星霜，汉代穷兵拓战场。岂料一时雄武略，遂令千载重边防。”这些对联诗词，写出了人们对金城关的感受和兰州的历史。