现在的山西，在全国，在华北，都不过是一个一般的省份，并不突出。但是在历史上，曾经有过好几次，山西在全国，至少在黄河流域，占有突出的地位，其重要性有过于今天的山西。
首先应该从远古时期说起。近几十年的考古发掘，可以证明山西在远古时代是一个很重要的地区。在国内已发现的七八十个旧石器时代遗址中，山西占了二十几个。从南边芮城县的匼河遗址，襄汾县的丁村遗址，一直到北边朔县（今朔州市朔城区）的峙峪遗址，阳高县的许家窑遗址，都是旧石器时代有名的文化遗址。到了新石器时代，山西境内的文化遗址就更多了仰韶文化遗址遍布全省。雁北地区又有一部分细石器时代的遗址。这说明山西在石器时代是全国的一个文化中心。
再从传说中的古史来看，唐尧、虞舜、夏禹时代的首都都在今天的山西南部。尧都平阳就是现在的临汾，舜都蒲坂就是现在的永济县蒲州，禹都安邑在今天的运城县境内。关于亮舜禹的都城虽然还有各种不同传说，有的说在山东，有的说在河北，但在山西的传说却比较可信。因为有关他们的活动范围的传说主要在山西。比如传说夏禹出于西羌，那个时候的西羌应该就是指今天山西境内的羌族。整个夏朝的主要活动范围，就在今天的山西南部和河南西部。所以，从尧舜一直到夏朝，山西，主要是晋南，是当时华北的政治经济文化重心。
商朝起于东方，它推翻了夏朝后，山西就失去了重要性。到了西周初年，周成王将其弟唐叔虞封在山西，旋改国号为晋。不过西周时的晋国并不很重要。到了春秋，晋国就发展成为黄河流域的一个最强大的国家。
春秋初年，黄河流域的强国是郑国、齐国，到了中期和晚期，在很长的一段时期内，晋国则是黄河流域第一流的强国，率领华夏诸中小国和长江流域的霸主楚国相抗衡，这就是历史上着称的“晋楚争霸”时期。而晋国的中心就在山西，前期的首都在绛，亦称翼，在今翼城县东南；后期迁于新田，亦日绛，故址在现在的侯马。
战国初期韩赵魏三家分晋，是谓三晋。三晋都是当时的大国，初期的魏和中期的赵还是数一数二的强国。三晋的首都初期都在山西，赵在晋阳（今太原市晋源），韩在平阳（今临汾），魏在安邑（今夏县北）。只是到了中期以后，才先后离开山西移向河北、河南的平原地区。魏国由安邑迁到大梁（今河南开封），赵国由晋阳一迁中牟（今河南汤阴），再迁邯郸（今河北邯郸市）。韩国由平阳一迁宜阳（今河南宜阳），再迁阳翟（今河南禹县），再迁郑（今河南新郑）。可以看出，春秋时期和战国初期，山西在华北的地位是很重要的，战国中叶才稍形衰落。
到了秦汉时，山西在政治上就不太突出了。但是晋南地区的经济文化还是比较发达的。司马迁作《史记·货殖列传》讲到当时各地的民风习俗，认为三河是“天下之中”，“土地小狭，民人众”。
三河即河东、河南，河内三郡。河东郡就是今天山西的晋西南一带。这一地区地狭人稠，可见经济文化是比较发达的。太史公还特别讲到杨和平阳两县的人特别会做买卖。杨就是今天的洪洞县，平阳即今天的临汾。
到了魏晋南北朝时代，由于山西境内有许多少数民族在活动，山西又显得重要起来。这种变化，渊源于东汉时代。
在上古时代，山西境内就有过许多少数民族。甲骨文里有许多“羌”，可能就在山西境内。西周时，山西也有很多少数民族在活动。见于商周记载的燕京之戎在今晋中太原附近一带，条戎在中条山一带，余无戎在晋东南一带，西落鬼戎在晋西北。春秋时，晋中、晋南到处分布着赤狄庵咎如、东山皋落氏、潞氏、留吁、铎辰等部落，此外太行山中还有骊戎和长狄郑，三门峡的北岸还有茅戎。西周时的晋国并不太强大，到了春秋时逐渐把山西南部、中部的戎狄并吞，才成为中原最大的强国。但雁北一带还有代、林胡、楼烦等戎狄，到战国时又为赵国所吞并。经过长期的接触兼并，戎狄羌胡逐渐同华夏融为一体，因此到了秦和西汉时，山西境内基本上都是汉族了。
东汉初年（光武帝时），又有新的兄弟民族进入山西。这时北边的匈奴分裂为南匈奴和北匈奴两部分，南匈奴投降汉朝，东汉政府就让他们入居汉朝境内。从此西河、北地、朔方、五原、云中、定襄、雁门、代沿边八郡都分布着匈奴部落。八郡中雁门、定襄两郡在今山西雁北、忻县地区（今大同市、忻州市、朔州市），代郡一部分在今山西忻县地区，战国魏铸布市。到了东汉末年，天下大乱，一部分匈奴南向抄掠，随即定居在河东，即今晋西南一带。献帝建安中，曹操分其众为五部，使散居于“晋阳汾涧之滨”，共有三万余落。
西晋初，又有大批匈奴人从塞外搬进山西。这时山西全境共分为七八个郡，差不多每一郡都有匈奴杂居，北部诸郡，甚至“胡多于民”。
在封建时代，当汉族所建立的王朝比较稳固时，对境内的少数民族总是剥削压迫得很厉害，因此一到汉族王朝的统治势力衰落下来，少数民族当然就要起来造反。西晋末年就是这种状况。
西晋末年，就是公元四世纪初，山西境内的匈奴酋长刘渊首先起兵发难，造西晋统治者的反。304年刘渊起兵离石（今离石），建号汉，不久即迁都平阳（今临汾）。刘渊死后，其子刘聪在311年攻克了西晋首都洛阳，俘了怀帝，西晋被迫把都城迁到长安。316年刘聪又打下了长安，俘虏了愍帝，灭亡了西晋。这在历史上影响很大，从此开始了一百一部分在今河北张家口地区（今张家口）几十年所谓“五胡乱华”、五胡十六国各据一方的局面。
结束这一黄河流域战乱局面的，也是以山西为根据地的少数民族--鲜卑拓跋部。鲜卑族原来居住在蒙古高原，分成好几支，其中拓跋鲜卑这一支逐渐向南迁移，到了曹魏时代，已把重心迁到了盛乐，即今内蒙的和林格尔。西晋末年，乘中原大乱，又继续向南扩张，占领了雁北地区，338年建国号为代，376年为前秦所灭。
383年淝水之战后，前秦瓦解，386年拓跋部复建代国。复国后当年就改国号魏，398年，把首都从盛乐迁到平城（今大同）。这就是历史上所谓北朝的第一个朝代--北魏。经过了半个多世纪的战争，439年北魏统一了黄河流域，结束了五胡十六国的分裂割据局面。
到了公元495年，北魏孝文帝才把首都从平城搬到河南洛阳。
这是由于孝文帝热心汉化，想消灭南朝，统一全国，而雁北地区长期为少数民族所居住，到北魏时，已经基本上没有汉人了，都城建在此地，不利于他的汉化政策，所以才决心排除保守势力的抵制，毅然把首都迁到了黄河流域的汉文化中心洛阳。但在此前半个多世纪，在今山西的平城一直是整个北朝的统治中心。
迁都洛阳后不久，只隔三十多年，北魏的实际统治中心又回到了山西。这是由于山西境内，又有一种少数民族--契胡兴起。
契胡到底是一种什么民族，现在还搞不很清楚。北秀容（今朔州一带）契胡尔朱氏世为领民酋长，至六世纪二十年代魏明帝时，尔朱荣以功都督并、肆、汾、唐、恒、云六州，驻晋阳，这六州差不多就等于今山西全省。
528年，北魏发生宫庭政变，胡太后杀了明帝，另立幼主。尔朱荣乘机举兵自晋阳南下，立孝庄帝，沉太后及幼主于黄河，杀朝士二千余人，进人洛阳，控制了朝政。他一度想迁都晋阳，后来又放弃了这个主意，留下几个心腹把持朝政，自归晋阳。于是北中阐的实际政治中心从河南的洛阳转移到了山西的晋阳。不久孝庄帝诱尔朱荣人朝杀之，荣的从子尔朱兆又从晋阳起兵人洛，执杀孝庄帝。荣部将高欢又起兵讨灭尔朱氏，立孝武帝于洛阳，自为大丞相，居晋阳，仍然是尔朱氏掌握政权时的格局。534年孝武西奔长安依宇文泰，高欢改立孝静帝，迁都于邺，史称东魏，高欢仍以丞相居晋阳，留亲信于邺执朝政。欢死子澄继，澄死弟洋继，所以东魏一代十六年，魏帝虽都邺，实际政治中心一直在晋阳。550年高洋篡魏，史称北齐。北齐一代二十七年，以邺为上都，晋阳为下都，皇帝经常来往于两都间，晋阳在军事上的重要性有过于邺。故周武帝伐齐，以重兵直指晋阳，晋阳既克，太行山以东也就一举而定，北齐就此灭亡。由于晋阳在北朝后期地位极为重要，所以北周灭齐之初，还在晋阳设置了并州宫和六府。并州宫是皇帝的行宫，六府是仿照中央政府的规制设置天官、地官、春官、夏官、秋官、冬官六府，作为中央政府的分设机构。到形势稳定后，才予以撤销。
可见，从四世纪初刘渊起兵一直到六世纪后期577年北周灭北齐，山西在北中国的地位一直很重要，平阳、平城、晋阳，先后更迭成为很重要的政治军事中心，中间间断的时间很少。
隋唐大一统时期，山西的地位虽没有南北朝时重要，但仍有相当的重要性。
隋代的并州（治晋阳），是黄河流域仅次于长安、洛阳的第三政治军事中心。隋文帝初582年，置河北道行台于此，以次子晋王广即后来的隋场帝为尚书令。“河北道”指整个大河以北地区，太谷白燕村出土的袋足包括今山西、河北、北京、天津二省二市和河南、山东的一部分。589年罢行台，改置并州总管府晋王广、三子秦王俊、五子汉王谅相继为总管，史称谅为总管，“自山以东，至于沧海，南距黄河，五十二州皆隶焉”。改行台为总管，只是一种体制上的改变，辖境当仍旧。其时并州不仅是大河以北的政治中心，并且是“天下精兵处”（《隋书·汉王谅传》），所以文帝一死，炀帝即位，汉王谅遂发兵反。杨谅虽然失败了，十三年之后，太原（607年改并州为太原郡）留守李渊乘隋末大乱起兵，很快就进兵攻克长安，并终于完成了统一，唐朝取代了隋朝。唐朝一代都很重视这个王朝的发祥地并州（618年改太原郡为并州）。初年置大都督府于此，690年武则天（她是并州文水县人）于西都长安、东都洛阳之外又建并州为北都。705年中宗即位，罢北都。723年玄宗又升并州为太原府，复置北都。此后二百年太原一直是全国山西继两晋、南北朝之后再次对全国历史发生很大的影响，是在唐末五代时期。其所以到这时又重要起来，还是由于此时山西境内又兴起了一个少数民族。
东汉、魏晋时匈奴、鲜卑等族迁人山西，匈奴建十六国中的汉，即前赵，鲜卑建北魏，还有一个跟着匈奴迁人山西的羯族，也建立了十六国中的后赵，对四至六世纪的历史都发生了重大的影响。在唐朝初期，匈奴的后裔稽胡，还有在山西一带活动的。但此后这些少数民族即不再见于记载，想必是已同化融合于汉族。可是旧的少数民族融合不久，唐中期以后，又有一支新的少数民族--沙陀族，进人山西。
沙陀本是西突厥的一支。突厥族原来居住在蒙古高原西部阿尔泰山区，公元六世纪五十年代灭柔然，成为蒙古高原的主人，六十年代西破呖达，疆域展至中亚的阿姆河流域。八十年代分裂为东西突厥。西突厥占有今新疆及中亚西亚地，并有一支移殖到今天的新疆东北角天山东端的北麓，和当地的土着印欧语系白种人融合在一起，形成沙陀族。这些沙陀人还保持着白种血统的相貌。
唐朝前期，沙陀人属唐朝统治。到了“安史之乱”后三十余年，即八世纪末，唐朝在新疆的势力被来自西藏的吐蕃逐出，沙陀便成了吐蕃的属部，并被迫迁到河西走廊张掖一带。九世纪初，沙陀人不堪吐蕃的压迫，举部东走，投奔唐朝，唐朝政府就把这支沙陀族安置在今陕北的定边盐池一带。不久，又进一步内徙今山西太原和雁门关南北定襄、朔县、山阴一带。从此山西北部就有了沙陀族，代北沙陀军在当时是最雄劲的部队。
沙陀酋长本姓朱邪，由于投奔了唐朝，屡立战功，唐朝赐姓李，官至节度使。九世纪末黄巢起义军攻人长安，唐朝统治者慌了手脚，下诏赦免沙陀酋长李国昌、克用父子杀害云州防御使之罪，使“讨贼（指黄巢起义军）赎罪”。李克用终于在883年收复长安战役中功居第一，父子二人一个做了代北军节度使（镇代州），一个做了河东节度使（镇太原）国昌卒，克用又南取昭义（治潞州），北取大同（治云州），以太原为中心，占领山西的大部分，897年进爵晋王，建立了唐末和五代后梁时代的晋国。
公元十世纪初，进人了五代十国时期。五代初期，主要是沙陀人的普国和汉族人的梁朝之争。梁朝的地盘很大，但晋国的武力很38。最后还是晋国打败了梁朝，建立了后唐朝。后唐首都虽然在落阳，但仍把太原府建为北都，又叫北京。后晋、后汉的首都在开封，太原仍为北京。
五代的五个朝代中，有三个朝代都是以太原府为根据地的沙陀人建立的。第一个是李克用之子存勖建立的后唐，第二个就是历史上臭名昭着的石敬瑭建立的后晋，第三个是刘知远建立的后汉。而这三个小王朝的创建者在建号称帝之前，都是前朝的北京留守、河东节度使，都是以山西为根据地乘机夺取黄河流域的大部分，从而一幕一幕地演出了改朝换代的历史剧。
在宋太祖所进行的统一战争中，曾两次派大军攻打自后周以来割据山西的北汉，两次兵临晋阳城下，但都未成功；直到其弟宋太宗时（979年，即宋太祖开国称帝后的十九年），才攻下晋阳，灭了北汉，完成了统一事业。
如上所述，可见在唐末五代，山西在黄河流域也是一个很重要的地区。五代中的三个小王朝，都是以山西为根据地的沙陀人建立的。有两个割据政权，五代初的晋国和五代末的北汉，也都在山西建国。而晋阳城在这一时期占有举足轻重的地位。
在宋王朝完成统一事业过程中，晋阳是最后一个割据势力的中心，也是最顽固的一个城堡，宋军费了很大力气才攻下来。又鉴于唐末五代的教训，中央政府内部一乱，总是以晋阳为根据地的一个新的势力建国割据，进而争夺天下。因此在宋太宗打下晋阳之后，就烧毁了这个千年古都晋阳城。但这个地区又不能没有一个行政中心，就改太原府为并州，移置阳曲县的唐明镇，这就是今天太原城的所在。至1059年复改并州为太原府。
由此看出，山西在历史上占有重要地位的时期，往往是历史上的分裂时期。这是因为，山西处于黄土高原的东部，它对河南、河北、陕西的关中地区而言，都是居高临下的，这在过去一刀一枪打仗时，是很占优势的地势。又因为盘踞山西的割据势力大都是强悍的少数民族，他们的武力很强，因而能攻则取之，退则守之，长期割据称雄。
北宋王朝统一中国后，山西不再是割据中心了，这和分裂时期比起来是比较不太重要了。但宋以后的山西，也有很值得讲的地方，特别是在金元时代。这不是因为它在政治上形成中心，而是因为在经济文化上占有重要的地位。