五泉山位于兰州市城南的皋兰山西北麓，海拔1600米。东连塔子坪，西接二郎岗，南至千佛阁，北距兰新铁路200米左右，占地面积266400平方米。
民间传说，五泉山的来历和西汉名将霍去病有关，据说当年霍去病奉汉武帝之命，率领大军从陇西郡（郡治狄道，今临洮）出发，准备征讨匈奴。霍将军率军从临洮出发后，沿着山间小路，直奔黄河边，由于这些地方人迹罕至，道路非常难走，到了今天五泉山一带，将士们口渴难耐，看到将士们无水可喝，将军非常着急，无奈之下挥鞭连击山崖，没想到地下竟涌出了五股泉水。2005年9月底，人们在五泉山门前的广场上，立了一尊雕像，以此来纪念霍去病。雕像中的霍去病脚踩马镫，抱拳感谢，充分表现了将军的爱国热情。后来人们把这五股泉水分别命名为甘露、掬月、摸子、惠、蒙，其中甘露泉、掬月泉、摸子泉在中麓南部，蒙泉在东涧，惠泉在西涧，五泉山也因这五泉而得名。
据明天顺五年（1461年）的《大明一统志》载：五泉山“泉有五眼，相传汉霍去病击匈奴至此，以鞭卓地而泉出。”清乾隆时统称鞭搠泉。当然，这仅仅只是一个传说，专家考证认为，霍去病两次远征匈奴时，并未来过兰州五泉山。
早在唐宋时这里就建有寺庙。元代在五泉山建皇庆寺，明洪武初改为五泉寺。永乐七年（1409年）重建，改为崇庆寺。明万历七年至九年（1579年～1581年）临巩兵备道副使在西龙口东侧建漱玉亭，以观瀑布。万历三十五年（1607年）兵备副使按察使邢云路重修后，改名清晖阁。经过元明两代经营，至清初，五泉山“自麓至巅，揽胜不穷，登临难遍”。到乾隆年间，五泉山终于形成以佛教为主，间以道教的建筑群。这座山历代均有修建，到清嘉庆、道光时，五泉山已经成为兰州风光的极胜之处。
乾隆同治年间，五泉山古建筑群两次惨遭兵祸，后来人们才又陆续修建了今天我们所看到的建筑群，在重修的过程中刘尔功不可没。他利用甘肃贡院明远楼的材料新建了三层楼阁，这就是今天人们所说的万源阁，供奉伏羲、周文王、周公、孔子；在万源阁下修建了思源楼，奉祀周敦颐、邵雍、程颐、朱熹，因为这些人“是我中华学术之导源也”。
五泉山上有许多的文物珍宝，其中比较著名的是“铜接引佛”和“泰和铁钟”。“铜接引佛”原在兰州东关接引寺内安放，这是一件明洪武年间所铸的铜佛，身高1丈6尺，身围8尺，重约万余斤。抗战时期，这个铜佛被日本人飞机所掷炸弹炸坏。1955年人们将铜佛焊接复原后移到五泉山金刚殿。这尊铜佛像造型优美，衣褶显晰，面部神态敦厚丰韵，怡静庄重，面含微笑，左手托钵，右手舒展，一副悲天悯人、接引众生普渡的神态。
“泰和铁钟”原为普照寺物，后安放在五泉山猛醒亭内。这座铁钟为金代章宗泰和二年（1202年）所铸，钟高9尺，直径6尺，重10000斤。造型宏伟肃穆，声音浑厚洪亮，这成为兰州抗战的见证，也是普照寺内留存下仅有的几件文物之一。
五泉中摸子泉最为神奇，过去善男信女用手在泉水中摸索，据说摸着石子的生男孩，摸着瓦片的生女孩。刘尔曾在洞口书写一联，嘲讽这种迷信行为是“糊糊涂涂，将佛脚抱来，求为父母；明明白白，把石头拿去，说是儿孙”。
从大门进入后，就开始登山了，只见山间绿树掩映，沿着通道殿宇层叠，楼阁错落。五泉山的蝴蝶亭、金刚殿、大雄宝殿、万源阁、文昌宫、地藏丝、千佛阁依次排列。
五泉山还是一个植物众多的地方，在公园内各种乔木花卉随处可见。国槐、银白杨、旱柳、白榆、臭椿、梨树、牡丹、丁香、玫瑰、榆叶梅、连翘、珍珠梅、红柳等树木，让人流连忘返。
如今这里保存建筑10000多平方米，其中崇庆寺、嘛尼寺、卧佛殿、地藏寺等系明清时代建筑。
然而许多小朋友是通过动物园认识五泉山的。五泉山公园西面的兰州动物园是甘肃省内唯一一所动物园，里面的鹿苑、熊池、狮虎房、猴山、禽园、熊猫馆等有大量各种各样的珍禽异兽。每逢周末和节假日，动物园就成了小朋友的乐园。