在龙虎山诸多的道观之中，大上清宫是最早建成的道观，于唐武宗在841年至846年间所建。大上清宫坐落于龙虎山脚下的上清镇东边，古代这里称为仙源乡招宾里。这里溪山环拱，传说有9条龙在这里，是神仙和灵兽聚集的地方。这9条龙指的就是上清宫周围的天门山、台山、乌剑山、狮子山、冲天峰、应天山、西华山、乌龟山和圣井山。
大上清宫源于道教祖师张道陵在龙虎山炼丹时居住的“天师草堂”。大约在215年至220年期间，第四代天师张盛从陕南汉中迁回江西龙虎山承启道教，在此建造了“传箓坛”。
龙虎山道教历史上的第一个道观便建成了。真仙观建成之后，又多次更名。
在北宋时期，符箓科教道法特别兴盛。1008年至1016年间，宋真宗召见第二十四代天师张正随吏部授篆，敕改“真仙观”为“上清观”。
1113年，宋徽宗召见第三十代天师张继先设法坛做法事，在朝堂上，张继先给宋徽宗呈奏时，张继先说宋徽宗显露出了“赤马红羊之兆”，便请求皇上修德。宋徽宗便把“上清观”升格为“上清正一宫”。
1310年，元武宗再次把“上清正一宫”更名为“大上清正一万寿宫”。
直至1687年，康熙为了弘扬正一道，为上清宫御书宫额，更名为“大上清宫”。
据清代《留侯天师世家宗谱》记载：“檐际悬圣祖仁皇帝御书‘大上清宫’额。”由此“大上清宫”这个名字便一直延续至今。
大上清宫是天师张道陵及历代正一道天师祈祷、打醮、拜神和举行重大宗教活动的主要场所。同时他们也在这里隐居练道、修真养性和静心练丹，这里是道教文化积淀十分深厚的地方。
大上清宫整个建筑以三清殿和玉皇殿为中心，另外还建有紫微殿、后士殿和东隐院等。据1740年妙正真人娄近垣所编纂的《龙虎山志大上清宫新制》里记载，当时大上清宫中的殿宇多达二三十座。
在这些宫殿里塑有天神、地祇、南星北斗、三十六天将、二十八宿星和六十甲子等神像数百尊，组成了一个庞大的神灵世界最高领导机构，故有“神仙所都”和“百神受职之所”的美誉。
大上清宫之所以具有这么大的影响，还因为我国古典名著《水浒》里有大上清宫的故事。
《水浒》里讲，当年洪太尉受大宋仁宗之命，到龙虎山宣请张天师进京祈禳瘟疫，不料在上清宫伏魔殿误放了老祖大唐洞玄国师在镇妖井内镇锁着的“三十六天罡星”和“七十二地煞星”，共108个魔君。魔君出世后，便成了后来水泊梁山的“一百零八将”，所以，人们说龙虎山是梁山好汉的出生地。
但据传说，当年洪太尉放走的是118个魔君，这些魔君直冲上天后，在空中散作100多道金光。
此时张天师在京城做法事时已经感知群魔出来了，就迅速念咒擒拿，而其中10个魔王拼力抵挡天师法力，让其他108个魔君逃走了。
而抵挡天师法力的10个魔王终究敌不过张天师的法力，被张天师一一降伏了，最后被点化成龙虎山的“十不得”。因此，当地流传一句民谣：“龙虎山中十不得，若有一得天下了得。”
在大上清宫中不仅流传着很多神话传说，还有绚丽豪华的宫观建筑，但后来都因战火破坏或年久失修，大部分建筑已经倒塌或损毁。存留下来的伏魔殿、东隐院、善恶分界井、梦床、神树和传说中的镇妖井等古迹，仍然具有强烈的吸引力和丰富的文化内涵。