“庆历新政”也就由改革官制拉开了帷幕。
庆历三年十月，仁宗下令中书省、枢密院重新拟定磨勘之制，重定宗旨即革除仅凭年资授官进秩的弊端，要求以实际德能劳绩为官员升迁的依据，德能兼备而有实绩者可“依次升拟”，而无能亦无所称者，可至老不迁。
十一月，根据仲淹的建议，对荫补之法也作了修改，对可得荫补者任职年限、官位品级、可奏荫补的相应职衔以及被奏补子弟的年龄、数量都作了重新规定，而且特别强调，所有得奏荫补的人都必须参加相应考试，“内及格者，方与差遣。”若“三度就试，词业纰缪，对议不及格”，则“不理选限”。宗旨即控制以恩荫滥补。
与此同时，仲淹还奏请朝廷派人主持重新删定审官院、三班院和吏部流内铨铨选官员条例。这三个院、部是主管官员铨选的重要部门。审官院负责京官铨选，三班院负责武官铨选，吏部流内铨则负责幕职州县的铨选。北宋自立国以来，文武官员的考察、任用规制几十年间有过几次变化，旧例不废，新例又增，条例既多且乱，就连这些部门的主官都不一定弄得明白，为官员铨选过程中的徇私任情留下很多漏洞。仲淹以为这种混乱必须从速整顿，要有得力人选负责，会同各部门主管官员，对这三个衙门前后发出的所有条例进行彻底清理，重行删定划一。庆历四年春，曾公亮被任命负责此项工作。曾公亮确实是一个很得力的人。史载他任知县、知州时，所到之处均为政有声。熙宁时他与王安石同列宰执，是王安石变法的得力支持者。
“庆历新政”就以这一系列的改革措施为发端，轰轰烈烈地展开了。随着磨勘和荫补制度的重新修订，也开始了郡守、县令的考察和选任。早在天圣五年仲淹丁忧南京，冒哀上书时，就提出过慎择郡、县以救时弊的主张。仲淹以为，郡、县为亲民之官，其是否得人，直接关系到生民疾苦。郡县不择，容非才贪浊、老懦无能者在位，或贪赃枉法，或不堪其任，以至天下“赋税不均，狱讼不平，水旱不救”，造成士民起事，自图生存，实为致乱之源。他建议朝廷派出能吏任为转运使、提点刑狱，到各路逐一考察地方官员的德能劳绩，将那些胡作司非为或老病昏昧者尽行罢除。
庆历三年十月，根据仲淹建议，朝廷任命张昷之、王素、沈邈为都转运按察使，分别派往河北、淮南、京东三路，行考察官吏之事。张昷之曾提点淮南刑狱，不惧受皇帝信任的亳州知州杨崇信的威势，将被他恃恩不法诬陷入狱的蒙城知县王申解救出狱。王素曾直言谏止仁宗为庆贺得子而要进秩百官的动议，传为佳话。沈邈曾任侍御史，在谏官欧阳修等谏罢夏竦枢密使的任命时，他也是一个积极的参与者，并曾直接上书仁宗，指斥夏竦与宦官刘从愿相互勾结，外传机密，阴为诡诈，企图擅权朝政。这三位都是敢于仗义执言，不惧权势的人，而且也是仲淹改革官制，以绝非功授官之弊的积极拥护者。
范仲淹坐镇中央，每当得到按察使的报告，就翻开各路官员的花名册把不称职者的名字勾掉。枢密副使富弼平时对范仲淹十分尊敬，这时见他毫不留情地罢免了一个又一个官员，不免有点担心，从旁劝止说：“您一笔勾掉很容易，但是这一笔之下可要使他一家人痛哭呀！”范仲淹听了，用笔点着贪官的名字愤慨地说：“一家人哭总比一路人哭要好吧！”在范仲淹的严格考核下，一大批尸位素餐的寄生虫被除了名，一批干才能员被提拔到重要岗位，官府办事效能提高了，财政、漕运等有所改善，暮气沉沉的北宋政权开始有了起色。朝廷上许多正直的官员纷纷赋诗，赞扬新政，人们围观着改革诏令，交口称赞。
仲淹所求，自然在于要以那些尸位侥幸之徒的丢官失禄之“哭”，换来一方黎民百姓的安居足食之乐。无论如何，为官不正或为官无能，贻害一方，首先也是最直接的受害者，总是那一方土地上的黎民百姓。这样的官吏越是官位稳坐而无虞，那一方土地上的百姓就越是水深火热而堪忧。
《书》曰：“德惟善政，政在养民。”几千年前由先哲道出的这八个字，实实在在提出了一个衡量一种政治之好坏如何、昌明与否的终极标准。为官不正或为官无能，民不得养以至千家鬼哭，万户萧疏，这样的政治要想不隳不毁，那才真正是怪事了。从这个角度看，仲淹的“一家哭总比一路哭好”，放到任何一个时代，都可谓不争之论。