魏晋时期，鲜卑秃发匹孤也从塞北西迁，先到达河西北面，即今内蒙古额济纳旗及宁夏北部和中卫一带，魏镇西将军邓艾纳秃发降众数万，置于雍凉之间，与民杂居，后渐强大建国南凉。其地东起宁夏卫宁南山、固原，西至青海湖东，南到青海贵德，北接腾格里和巴丹吉林沙漠。因其散居河西，史称“河西鲜卑”。
西晋初年，统治者认为内迁的各少数民族“非我族类，其心必异”，对他们实行歧视和压迫政策，使民族矛盾激化。西晋武帝泰始五年（269年），朝廷以胡烈为秦州刺史，上任伊始，便对少数民族妄加讨戮，他先屯兵高平川，继而进攻麦田（今中卫香山、靖远水泉一带）的河西鲜卑部族，河西鲜卑族首领秃发树机能奋起反抗。树机能是鲜卑秃发部首领匹孤的四世孙。泰始六年（270年）六月，胡烈与树机能在万斛堆（今中卫碱井儿湖）激战，胡烈兵败，被杀于万斛堆。树机能乘胜由中卫进军，攻占高平（今固原）。胡烈死后的继任者杜预，率兵镇压树机能，与树机能对垒近一年未能取胜。受其影响，陇西、河西其他各族纷纷起兵反晋。居住在安定郡（今中卫、中宁、海原）的“北地胡”进攻金城郡（今兰州），晋凉州刺史牵弘率军镇压，被树机能围困在青山（今同心大罗山一带），牵弘兵败被杀。秦、凉二州刺史败亡，晋朝野大为震动。武帝咸宁三年（277年），晋镇西将军王骏、平虏护军文淑等督凉、秦、雍各州军分数路攻讨秃发树机能，树机能作战失利，所领20余部降附。咸宁四年（278年）六月，羌、胡各族再次掀起反晋斗争高潮，西晋凉州失陷，凉州刺史杨欣战死，凉州地区又被树机能占领。晋武帝任命马隆为“讨虏护军”，率部前往镇压。马隆率军经中卫西渡温圉水，转战千余里，树机能后在战斗中被杀，他所领导的各族人民的反晋斗争最终失败。这次反晋斗争历经十年，给西晋统治者以沉重打击，其后，卫、宁、海三县才又归于西晋版图。
西晋末年，司马氏皇族争权夺势，先后有八王之乱（291~306年），国势凌夷，少数民族部族首领和汉族豪强纷纷起兵割据，逐鹿中原，史称“五胡乱华”。先后占据宁夏地区的有：前赵、后赵、前秦、后秦、赫连夏国。
晋怀帝永嘉二年（308年），匈奴刘渊称帝，建国号汉，313年其侄刘曜改国号为赵，史称汉赵。319年，羯族石勒称赵王，史称后赵，中卫地属后赵。329年，后赵灭前赵，宁夏全境属后赵。
351年氐族苻健在长安称帝，史称前秦，中卫地属前秦。淝水之战第二年（384年），依附于前秦的羌族豪酋——龙骧将军姚苌反叛前秦，攻杀苻坚，占领长安称帝，史称后秦，中卫又归属后秦。在后秦统治的24年中，居住在固原一带的鲜卑破多兰部首领没弈于被后秦封为高平公，镇守高平，统治宁夏。
其后出现的夏国是由匈奴弗部的赫连勃勃建立的。391年北魏拓跋攻杀了勃勃的父亲刘卫辰，勃勃逃到高平，投靠了高平公没弈于，被没弈于招为女婿，以后又得到后秦国主姚兴宠信，令其镇守朔方郡。407年夏，勃勃领兵袭杀了高平公没弈于，尽并其众，拥兵自立，自称大夏王。417年勃勃攻取长安，第二年称帝，立国号大夏。夏国时期，占有宁夏全境。431年，北魏灭赫连夏国，439年统一了北方全境。
东晋十六国时期，北方先后建立的16个独立的割据政权，你攻我伐，诛杀并吞，进行了百余年的混战，就卫、宁、海地区而言，首当其冲，人民的灾难是极其严重的。此种情况到北魏时期才有了改观。
南北朝时期，北魏太武帝拓跋焘太延二年（436年），为了防御北方柔然入侵，在北方边境设置了薄骨律镇和高平镇，到魏孝明帝正光五年（524年）改镇为州，薄骨律镇改为灵州。薄骨律镇（灵州）下辖回乐、鸣沙、怀远、迠安、临河等县。中卫隶属鸣沙县。
魏太平真君五年（444年）夏，太武帝拓跋焘派征南大将军刁雍为薄骨律镇镇将。刁雍系渤海饶安人（今河北盐山县），字淑和，出身于世代高官之家，是一位才智双全、体恤百姓的好官。上任后，首先主持修建了艾山渠（艾山也叫峡口山，是今吴忠市、青铜峡市牛首山、青山的统称）。他四月末到镇，看到这里古渠道因为黄河变迁，渠身高出河床，无法引水，粮食生产没有保证。他通过实地考察，上奏折在艾山开渠口，引黄河水另外修渠。新渠修成，他又总结当地农业生产经验，提出先进的“节水灌溉法”，粮食产量大幅度增加。中卫在他管辖之内，渠道也得以治理。使西晋以后完全淤塞荒废的渠道得以修复，田亩得以重新垦种，农业生产在短期内收到明显效果，连年丰收，粮食有了大量剩余，人口快速发展。
魏太平真君七年（446年），太武帝招令薄骨律等四镇出牛车5000辆，将宁夏黄灌区薄骨律镇囤积的粮食50万斛（古代以十斗为一斛，魏时每斛26.5公斤）运到沃野镇（今内蒙古乌拉特旗境内）以供军粮。薄骨律镇到沃野镇相距约400公里，其中不少路道是沙漠，还要渡过黄河，行车十分困难，往返一趟需百余日，长距离运输大数量粮食需占用大批劳动力和畜力，按当时每辆牛车的载量，需三年才能运完。刁雍调查黄河上游河道情况后，上表请改水运。他在“牵屯山河水之次造船200艘”，开通了中卫至沃野镇河运，从水路顺黄河而下，单程五日就可以抵达沃野，三至六个月就能运粮60万斛，节省民力十多倍，免除了百姓旱路运送军粮的繁重苦役。牵屯山一般指六盘山北端海原一段，北魏有所扩大，包括中卫香山。“河水之次”即是中卫及中宁黄河南岸。刁雍的水运措施，不仅解决了当时运送大批军粮的难题，同时也开通了中卫历史上黄河作为首站大规模运输的先例。太平真君九年（448年），刁雍建城储粮，使今中卫、中宁、吴忠地区成为北魏粮食基地。北魏皇帝下诏称赞刁雍“深谋远虑”，并将储粮仓城命名为“刁公城”。
北魏初期，社会经济有了恢复和发展，但统治者日趋腐败，公开卖官鬻爵，贵族、官僚疯狂兼并土地，残酷剥削和奴役广大劳动人民，这就造成了北方六镇和甘肃人民的起义。这些起义虽然都失败了，但对北魏统治者给予了沉重打击。到北魏末年，宁夏地区又处于少数民族首领割据的半独立状态。苦水河流域（包括今中卫、中宁、同心、海原）是鲜卑酋长费也头控制地区。535年，北魏分裂为东魏和西魏，东魏政权控制在高欢手中，西魏政权控制在宇文泰手中。这时的灵州（包括整个中卫地区）成为双方攻伐争夺的焦点地区。
在东西魏割据时期，宁夏属西魏控制，全境分属灵、原二州。556年10月，魏安定公宇文泰病逝，第二年其子宇文觉逼魏帝让位，建国号周，史称北周。为了防御北方突厥族入侵，北周在灵州、原州设置了军事总管府。灵州下设普乐、怀远、历城三郡，普乐郡下设回乐县，辖中卫。北周保定二年（562年），会州州治于鸇阴（今甘肃白银市平川区）移于鸣沙，中卫属之。建德六年（577年）废会州，改设鸣沙镇，中卫隶属鸣沙镇。
北周武帝宣政二年（579年）十二月，北周攻取南陈朝之北徐州。宋代地理书载：“徙其民于灵州，其江左之人崇礼好学，习俗相化，因谓之塞北江南。”这段文字可阐释为：长江左岸是经济文化发达之区，人们有崇尚礼仪、爱好学习的习惯，在迁到灵州的江左人的良好生活习俗影响下，逐渐改变了灵州当地羌、戎的旧风俗，人人都变的文质彬彬讲礼仪了，因而这里被称之为“塞北江南”。另从地理因素讲，通过南民北迁，南方崇儒尚文之风以及先进的农业生产技术植入宁夏后，与宁夏得天独厚的自然地理条件相结合，共同打造了宁夏塞上江南的内涵。中卫乃至银川地区俗称“塞北江南”或“塞上江南”，此因大概是最早的缘由。也就是说，中卫乃至银川地区被称作“塞上江南”已有1400多年的历史。