特别是自北魏初，郡太守即有职无权，居官而无民，人们都不愿意居任此职。北周的于谨，宁可屏居闾里，也不去预选州郡之职，原因就在于“州郡之职，昔人所鄙”。到了北魏肃宗朝以后，郡守一职经常被朝廷用来当作稳定地方，笼络人心的奖品，而不时地下令：“京尹所统，百年以上赐大郡板，九十以上赐小郡板。”“京畿百年以上给大郡板，九十以上给小郡板……诸州百姓，百岁以上给小郡板。”“诏上党百年以下九十以上板三品郡，八十以上四品郡，七十以上五品郡。”
不过，从整个魏晋南北朝时期看，州郡之间的行政权力关系越是在早期，郡的独立性就越突出。最为典型的一个事例充分反映了这个事实。《三国志》卷49《太史慈传》载：“太史慈……仕郡奏曹史。会郡与州有隙，曲直未分，以先闻者为善。时州章已去，郡守恐后之，求可使者。慈年二十一，以选行……（慈以计毁州章）还通郡章。州家闻之，更遣吏通章，有司以格章之故不复见理，州受其短。”这件事说明，虽东汉末年，刺史已重，但州郡之间有嫌隙，州刺史仍不能以大压小。《梁书》卷22《太祖五王：南平元襄王伟传》载：萧衍起兵雍州后，雍州部内“魏兴太守裴师仁、齐兴太守颜僧都并据郡不受命，举兵将袭雍州……”陈霸先受禅后，江州刺史周迪欲自居南川，担心所部八郡不从，“乃总召所部八郡守宰结盟”。可见，自三国以后，郡虽己位处下方，但要州之使郡，如臂之使指还不太容易。郡既可直对州官，也能径自奏事朝廷。郡守作为地方官也还是较高的选任，特别是东晋南朝畿郡的选授。《梁书》卷24《萧昱传》载“政事有能，方迁郡守……解巾临郡，事不为薄……”正说明这点。
2．州与郡的军权关系。魏晋南北朝时期，郡同州一样，除了从西晋统一到惠怀在位这一短暂的时期内不再拥兵外，其余的时间都拥有自己的郡兵。郡太守也大多挎军号，置军府，持节行督，并有行政与军府两套机构。由于此时南北对峙，外部战争和内部叛乱会随时发生，因此，对内平叛，对外御侮，郡兵经常成为一支重要力量。故而在制度上，与两汉相比，此时郡的实际权力又大于两汉。
由于郡直接统辖于州，所以州对郡在军事上，可以直接调遣郡守所领的郡兵。州地位的上升，使州与郡的联系加强，即郡对州的依附性增强，这只是问题的一个方面。另一方面，由于此时郡太守也多带戎号，拥有兵众，使州对郡的依赖性也相应提高。因此，州刺史对州内所部的要郡要进行控制。一个普遍的做法是，州刺史常兼州府治所在郡之郡太守。有时刺史自己不兼，也由其长史或司马兼任。甚至还经常有刺史兼军府治地的太守，长史或司马再兼州内另一郡郡职的情况。于是，州刺史兵刑、军民、州郡集诸权于一身。而刺史或长史、司马所兼郡，通常称为首郡，或称为股肱郡，其政治、经济、军事等地位都极为重要。因此，以州权再控股肱郡，成为州保持权力和地位的重要方式。《晋书》卷77《殷浩传》载：桓温灭蜀之后，威势转盛。简文帝为了与桓温相抗衡，以殷浩为建武将军、扬州刺史，遂参综朝权。“颍川荀羡少有令闻，浩擢为义兴、吴郡，以为羽翼。”殷浩虽为宰相，又兼领扬州刺史，但义兴、吴郡二郡有股肱之助，极为重要，须有心腹居之。
3．州与郡的司法监察权关系。司法上，郡的词讼要受州覆案，疑、案要上报州部审谳，要向州上解重狱。州部郡从事要对郡所判决的词讼进行按验。监察上，郡受州部郡从事察非违，甚至刺史直接案劾。如前述曹魏初，豫州刺史贾逵弹劾奏免州内二千石长吏不如法者。西晋武帝咸宁三年（277年），高阳王睦，“遣使募徙国内八县受逋逃、私占及变易姓名、诈冒复除者七百余户，冀州刺史杜友奏睦招诱逋亡，不宜君国”，结果诏令贬王爵为县侯。东晋孝武帝时，豫章郡守范宁于郡内增开城门，私立下舍，自置家庙，又于属县设宗庙社稷，夺人居宅，耗费民力，被江州刺史上表弹劾。王述为扬州刺史，“检察会稽郡，辩其刑政，主者疲于简对”。
总之，尽管魏晋南北朝时期，郡的政治地位在史书中还不时被强调。如《晋书》卷33《何曾传》：“郡守之权虽轻，犹专任千里，比之于古，则列国之君也。上当奉宣朝恩，以致惠和，下当兴利而除其害。得其人则可安，非其人则为患。故汉宣称曰：’百姓所以安其田里，而无叹息愁恨之心者，政平讼理也。与我共此者，其惟良二千石呼！‘”但与两汉相比，只不过是夕阳余辉。
郡太守之职，通常也都由门阀大族出任。朝廷还不停发诏举荐郡太守。如“泰始八年二月，诏内外群官举任边郡者，各三人”。“太康九年，五月，诏内外群官举守令之才。”郡太守一职，还不时地作为荣崇之职向朝廷的功臣封赠。
但自州地方行政化后，郡的颓势就一发不可收拾，以至于早在曹魏后期就有人上书废罢郡制，改行州县。然而，为什么终南北朝之世未能罢去呢？
首先，魏晋南北朝时期，是一个长期战乱不断的时期，局部性的战争、全局性的战争不时而至。战争成为此时最大的政治。为应付战争，就必须有得力的组织机构，而州的地方化恰好适应了这一需要。因此魏晋南北朝时期，州的主要职责是应付内外战争。这一点，魏文帝时就有黄门郎杜恕提出：州郡典兵，则专心军功，不勤民事。不久，朝廷为宠秩吕昭，又使其以镇北将军领冀州，杜恕再上疏：“州郡牧守，咸共忽恤民之术，修将帅之事。”因而无暇顾及辖区内的地方行政管理。杜恕提出，刺史的职掌应该回归其本位，军事应该有专门的将军去镇守。然而，朝廷的处理却相反，这就是以州牧刺史挂军号主地方镇守，而由郡专司地方安民丰财之务。
其次，郡不但可以专司地方行政管理之职，还可以作为州在战争时期最好的后勤保障组织。这样一来，中央朝廷既有充分的力量可以应对内外战争，又可以保证地方地静民安。这点可以从史书得到印证。《南齐书》卷40《武十七王：竟陵文宣王子良传》记：“宋世元嘉中，皆责成郡县；孝武征求急速，以郡县迟缓，始遣台使，自此公役劳扰。”南齐时，州台使命，切求悬急。郡“应充猥役，必由穷困，乃有畏失严期，自残躯命”者。
再次，魏晋南北朝时期，如果废掉郡制，州的辖幅将大大增加，其职责也会严重超负，这样就既不能应付好战争，也不能管理好地方。因此，尽管此时郡太守之职常被他官兼代，而郡级组织却始终不能废去。故而当时从朝廷到地方，一直有人反复强调：“政平讼理，莫先亲民。亲民之要，实归守宰。”
（二）魏晋南北朝州制度下的县
魏晋南北朝时期的县，是最底层级的地方政府。由于州这一行政层级的形成，县的地位也随之降低，而县的政治功能却未因此而有所减少。《抱朴子·外篇》卷之28《百里》：“三台九列，坐而论道，州牧郡守，操纲举领，其官益大，其事愈优。烦剧所钟，其唯百里，众役于是乎出，殊求之所丛赴。牧守虽贤，而令长不堪，则国事不举，万机有阙，其损败岂徒止乎一境而已哉！令长尤宜得才，乃急于台省之官也。”这充分说明了地方政府里，县对于州职能的正常发挥起着关键的基础性作用。所谓上有千条线，下只一根针。朝廷殊求，千般万种，而最终都要穿过县政府这个针鼻而付诸实施。故而西晋甫一统一，即下诏：“郡国守相，三载一巡行属县，必以春，此古者所以述职宣风展义也。见长吏，观风俗，协礼律，考度量，存问耆老，亲见百年。录囚徒，理冤狱，详察政刑得失，知百姓所疾苦。无有远近，便若朕亲临之。敦喻五教，劝务农功，勉励学者，思勤政典，无为百家庸末，致远必泥。士庶有好学笃道，孝弟忠信，清白异行者，举而进之；有不孝敬于父母，不长弟于族党，悖理弃常，不率法令者，纠而罪之。田畴辟，生业修，礼教设，禁令行，则长吏之能也。人穷匮，农事荒，奸盗起，刑狱烦，下陵上替，礼仪不兴，斯长吏之否也。若长吏在官公廉，虑不及私，正色直节，不饰名誉者，及身行贪秽，谄黩求容，公节不立，而私门日富者，并谨察之。”要求郡国守相对县令长进行严格的督察。宋政权更强调“政平讼理，莫先亲民，亲民之要，实归守宰”。
然而，自州继郡之踵，驾临县宰之上后，对县宰的控制骤然加强，特别是在东晋以后。两汉时，县只对郡一个上级，这时却有两套金箍匝于其身。县对州的依附性陡然增强。其突出的表现，一是县令长被大量的州军府吏和行政佐吏所兼领（已见前述州佐吏部分），二是大量的县令来源于州军府佐。于是，州之军事行政统领权，便可直接伸展到地方的最基层部分。这种州职兼县职，高度集权于刺史的地方统领方式，不但使郡成为土偶，也使朝廷政令的实施难度加大。县，不仅是履行朝廷政令的基层组织，更是此时不少士人脱贫致富的金窖。县令一职，不仅是国家政治功能的具体承担者，而且成为不少士人进身之阶。外官的州军府佐、行政佐可以带县令，刺史资可以带县令。内官的御史也可以带县令。县令地位之低，以至于州镇都可以板授县令长，而且这些被板授的令长，甚至连秩禄都没有。到北魏时，“边外小县，所领不过百户，而令长皆以将军居之”。至有下代守宰而不愿意赴任者。
北齐时，“齐因魏朝，宰县多用厮滥，至于士流耻居百里”。因而尚书左仆射元文遥上言：“以县令为字人之切，遂请革选。于是密令搜扬贵游子弟，发敕用之。犹恐其披诉，总召集神武门，令赵郡王轈宣旨唱名，厚加慰喻。士人为县，自此始也。”