三老对地方政府的制衡作用，随着帝国的稳固，也起了微妙的变化。特别是到了新莽、东汉好古尊儒的时代，一方面有所谓国三老之置，然多以公卿为之，虽天子对其“师而不臣”，不使列入百官序列，但此等远离乡里社会，受优渥待遇于京师的国三老与地方乡里的县、乡三老，虽名同而实异。至于县、乡三老至东汉渐被编入地方行政组织内，在东汉的百官序列中，三老与有秩同为百石吏，其名位更在有秩之下。《续汉书》“百官志”说：
乡置有秩三老。注：有秩郡所署，秩百石，掌一乡人，其乡小者，县置啬夫一人，皆主知民善恶，为役先后，知民贫富，为赋多少，平其差品。三老掌教化，凡有孝子顺孙、贞女义妇、让财救患及学士为民法式者，皆扁表其门以与善行。
三老此时不仅名位不及有秩、啬夫，工作也被限于教化范围，与秦末率子弟刑长吏，风云一时之情形，全然不同。及至曹魏，随着九品官人法的创立，三老亦由百石小吏转为八品小吏。晋永嘉乱后，五胡入侵，揭开了长期分裂的时代序幕，微弱的政府已无闲暇举行“养老之礼”，国三老随之俱废。外族入侵带来的战争与破坏，引起了汉民族的大迁徙运动，人口流失殆尽，几成空城之处，不知多少，传统的行政村与自然村合一的乡制也随之崩溃。
政府既不能在“自然村”的乡里中微调到所需的税收与差役，唯有以户口为单位，重新编组乡里社会。此类乡里社会与从前具有“自然村”性质的乡里社会不同，纯是就政府行政需要而编组的，无一定的地域范围，可说是纯粹的“行政村”性质。晋之乡制，“县户五百以上皆置乡，三千以上则置二乡，五千以上置三乡，万以上置四乡”，乡既无一定区域，类似三老的势力，自然无从发生作用。《晋书》“职官志”中有关乡的行政记载是：
乡置啬夫一人，乡户不满千以下置治书史一人，千以上置史佐各一人，正一人，五千五百以上置史一人，佐二人，县率百户置里吏一人。
乡里俱以户口计算，原则上乡置啬夫，里置里吏，人口多的乡里，增派乡吏数人协助。
古代城邑中负责执掌祭祀的长老，随着时代的演变，因其长老身份渐参与各项行事，渐成邑民的领导者，秦汉之际，他们率邑民刑杀秦之郡县长吏，分别支持拥立起事群雄，充分发挥地方势力瓦解统一帝国的作用。汉初，他们被允许与县令丞共议县行事，其后职务渐广，甚至以吏民代表身份向中央反映郡县长官行政好坏，或吏民对中央措施的期待与要求。新莽东汉以降，虽好古尊儒，有所谓国三老之设，然地方乡里社会之三老，随着统一帝国的稳固，已不再能自立于官僚系统之外，而被编入地方行政组织内。至晋随着古代乡制的破坏，以乡里为背景的三老，也自历史上消失其活动。