实际上，改革家们一直没有放弃他们的事业。加菲尔德被刺身亡，使全国公众为之震惊愤慨，社会舆论空前一致，形成一股新的力量，支持改革家提出的要求。1881年8月，数10个地方改革团体的代表集会于罗得艾兰州纽波特，宣布成立全国文官制度改革联盟，由乔治·柯蒂斯任主席。它主张运用一切正当手段促使国会通过改革法案。1883年1月，国会两院一致以多数票表决通过俄亥俄州民主党参议员乔治·彭德尔顿提出的《文官制度法》（又称《彭德尔顿法》）。
根据这项法案，将创立一个由两党参加的文官制度专门委员会。
委员会由总统任命并经参议院批准，它由3个人组成，负责执行一套新的规定，要求根据公开的选拔考试的成绩任命官职，禁止为了政治目的而评价任职人员。根据《彭德尔顿法》，这些新的规定仅适用于大约14，000名官员，约占全部文职官员的12％；但是，它授权总统可以酌情扩大“分等级”职位的比例，即扩大功绩制度所涉及的工作种类的比例。
到19世纪末，各级文职官员共有10万人。西奥多·罗斯福执政结束时，人数增加了一倍多，到伍德罗·威尔逊离任时文官人数达到近50万人。可以说，现代文官制度逐步建立和发展起来了。这对于提高政府官员的办事效率，改进政府工作风纪起到了积极的作用。
具有讽刺意味的是，文官制度改革得到了加菲尔德的继任者切斯特·阿瑟的热切支持。说来，这位新总统本来声誉欠佳，他长期以来依附于权势炙手可热的纽约党魁康克林，资历无足称道。在他继任总统后，许多人担心他会成为一个非常糟糕的行政首脑，也担心政党分肥制会保持下去。然而，他出人意料地扮演起文官制度改革家的角色。他坚定地敦促国会说“改革行动不应该再推迟”，要求它尽快通过有关的改革法案。他同那些政党分肥者们断绝了关系，并对邮政总局内部一些官员舞弊贪污、耗费国家百万美元的丑闻进行调查和起诉。除此之外，阿瑟总统在美国海军建设方面还取得了为人所称道的成就。内战以来，海军因经费不足，装备一直较为落后。腐朽的船身，铸铁的枪炮，就像一堆陈旧的木制老古董。海上找不到一条美国海军的钢船，船上找不到一支先进的来福枪。1879年因领土纠纷，在秘鲁、玻利维亚和智利这三国之间爆发了一场战争。美国人注意到自己的海军甚至不如智利的海军；再加上开凿中美洲地峡运河的需要，国会经过一段时间的讨论后，于1882年8月5日批准“用国产钢铁建造两艘蒸汽机巡洋战舰”的计划。两年后，“芝加哥号”和“波士顿号”交付使用。自此开始了美国海军现代化建设的新的时代。
阿瑟作为一名因意外事故（加菲尔德遇刺）而得以入主白宫的总统，能够在任期内不受党魁控制，坚持独立行使职权，算得上是一个比较清白的政治家。即便是出言尖刻的作家马克·吐温对阿瑟总统也表示了赞许，他说：“我只不过是5500万人民中的一员。虽然我渺小到只是五千五百万分之一，可是我仍然要说出来。我认为，要取得比阿瑟总统的政府更好的政绩是很不容易的。”但是，在阿瑟任期将满的时候，发生了一件对他来说不大光彩的事情，即“竞选抚恤金案”。在1884年的竞选运动中，抚恤金专员威廉·达德利擅离职守去为共和党候选人游说。这位头脑发热的达德利轻率地暗示，如果那些领抚恤金的人投共和党领导人詹姆斯·布莱恩的票，就很快得到抚恤金。达德利的鲁莽行为招致了舆论的严厉抨击，但阿瑟总统却没有制止他的活动。不久，达德利干脆做起了共和党全国委员会的财务主管。阿瑟因受此丑闻的牵连也就无缘参加下届总统的竞选活动了。
克利夫兰挂帅
到1884年，基本上属于平静无事的阿瑟政府，在南北战争以来最激动人心的总统选举中宣告结束。对阿瑟不满的共和党人，把目光投向曾在1880年因微弱的票数差额而未获提名的、却又有大批追随者的布莱恩。此公在加菲尔德和阿瑟执政时当过几个月的国务卿，后来退职著书，写了一本长达1，000页的《国会20年》，为共和党歌功颂德。
随着代表大会的临近，提名他为总统候选人的可能性似乎越来越大。
但是，布莱恩却难以见容于一些生性拘谨的共和党人。有人指责他在1869～1878年任众议院议长期间，曾滥用职权谋求私利；让布莱恩无法说清楚的一件事是：在一封写给某个叫费希尔的人的公函上，他添加了“此函阅后请焚毁”的字样。共和党内的改革派退出了该党6月份在芝加哥举行的全国代表大会，他们用手捂着鼻子表示对布莱恩的蔑视，说布莱恩像一只掉进泥塘中的非洲犀牛在官场上打滚出丑。他们在波士顿和纽约召开会议，宣称如果民主党推选出一个具有自由思想的“正派的”候选人，他们保证给予支持。
民主党提名的总统候选人———47岁的纽约州州长格罗弗·克利夫兰，可谓适得其人。克利夫兰是一个靠个人奋斗获得成功的人。1881年，他被选为布法罗市市长，成功地革新了该市市政；1882年，他接受民主党的提名作为纽约州的州长候选人，取得竞选的胜利。克利夫兰身材魁伟，体重240磅，以意志坚定、为人正直和工作勤奋而著称。他公然反对坦慕尼协会的党魁约翰·凯利；又不顾劳工的痛骂，否决了一项要求减少纽约市电车售票员工作时间的提案。他是一个改革派，同时也是十足的保守派、稳定通货的信仰者和财产权的捍卫者，商人、中产阶级纳税人和共和党“超然派”。改革家们赞赏和敬佩克里夫兰的独立正直的精神。威斯康星州的布雷格将军在发表提名演说时宣称：“我们为了他所结下的仇敌而喜爱他”，克利夫兰成了1884年大选时民主党理所当然的旗手，极为顺利地获得了总统候选人提名。其竞选伙伴是来自印第安纳州的州长托马斯·亨德里克斯。
1884年总统竞选是美国历史上最喧嚣胡闹、最充满恶意的竞选运动之一。亨利·亚当斯描写道：“公众都怒气冲冲，满口恶言；人人都参加竞选活动。我们都全力以赴，也都破口大骂。但是，令人好笑的是谁也不谈正经事。”事实上，布莱恩周游全国，发表了约400次演说，强调保护关税是支持高工资的。克利夫兰则很少参与竞选活动，除了作过两次关于文官制度改革的讲演以外，一直呆在他的办公室里工作。
在整个竞选过程中，公众的注意力和新闻界都集中在两党总统候选人的私生活和个人道德方面。布法罗的一家报纸在头版以大字标题写道：“骇人听闻的故事”，揭露了克利夫兰在纽约州伊利县担任行政司法长官时，与一位名叫玛丽亚·哈尔平的寡妇生下了一个私生子。更令人惊奇的是，克利夫兰对这一指控毫不否认。他的竞选助手们问他如何应对这一指控时，他果断地指示：“实话实说！”可是，克利夫兰的助手们未经他同意就编了个故事进行反击。他们说，布莱恩的第一个儿子是在他结婚后不到3个月出生的。他们还公布新的证据，称布莱恩曾犯有与铁路兴建者进行暗中交易的罪行。民主党人手持火炬，列队游行高声嚷叫：
布莱恩，布莱恩，詹姆斯·布莱恩！
缅因州名满大陆说谎的人。
共和党人则把他们最得意的题材：克利夫兰的私生子编为歌曲，沿街高唱：
妈呀妈！怎么不见我的爸！
他上白宫去啦，
———哈、哈、哈！
共和党中的超然派（又译为“独立派”）虽然为克里夫兰的“骇人听闻的故事”所震惊，但他们还是决定继续支持克利夫兰。他们认为，布莱恩在工作上过失甚多，在私生活上却无懈可击；克里夫兰虽然在私生活上有不轨行为，但在政治上却廉洁、正直和坦诚。两相比较，他们发现克利夫兰先生更能胜任白宫的职位，而布莱恩先生应参加到私人的天地里，那里才是他能够发扬优点和受人敬仰的所在。
在竞选活动临近结束的时候，布莱恩似乎胜利在望了。他的故乡缅因州很早就投了票，共和党在该州获得了前所未有的胜利。而且布莱恩有可能获得关键性的纽约州选举人的支持。因为坦慕尼协会的老板们对克里夫兰没有好感，再加上他的私生子丑闻又使爱尔兰天主教选民对他也十分不满。可由于支持布莱恩的一位牧师的失言，共和党失去了爱兰尔选民的支持。这位叫伯查德的牧师，充当一个来访的代表团的发言人，把民主党说成是一个由“浪漫派、天主教和叛逆者”组成的党，布莱恩一时疏忽，没有予以纠正。民主党人立即抓住这个把柄大做文章，他们在礼拜天早晨，把许多传单散发在天主教堂门外。结果，克里夫兰在纽约州100万张普选票中，以超过1，149票的微弱多数取得胜利，进而取得了1884年大选的胜利。在全国范围内，克利夫兰和布莱恩得到的普选票分别为4，879，507和4，850，293票，两人所得到的选举人票数分别是219和182票。这样，共和党的漫长统治宣告结束，民主党人终于回到了阔别24载的白宫。
克利夫兰上任不久，同样遇到了封官授禄的问题。那些自以为有功的民主党人，被剥夺做官的甜头达1／4世纪之久，他们要求尽法律所容许的限度进行撤换，即撤换88％的原有官员，他们渴望得到克利夫兰所掌握的10万个职位中的某一个职位。正直的“独立派”则主张一个也不撤换。在写给朋友的信里，克里夫兰把这个问题看作是“可怕的、讨厌的梦魇”，无时无刻不在困扰着他。有一次总统抱怨道：“这种该死的、没完没了的争官纠纷闹得太过分了，我简直想辞职不干了，难就难在有求必应。”最初，克里夫兰不同意因为有些人是共和党人就撤消他们的职务，坚持必须要有渎职或者贪污腐化的证据才能撤消某个人的官职。他不顾民主党党魁和那些饥不择食的赞成政党分肥制的人的反对，留住了一些精明干练的共和党人，他通宵达旦地亲自审查求职申请书。民主党的报纸猛烈地抨击他，责骂他“忘恩负义”。几个月后，克里夫兰屈从于来自党内的巨大压力。在他4年任期结束时，先后撤换了几乎所有的邮政局长和大约半数的联邦官员，大批庸碌无能之辈混进了文职官员队伍之中。克里夫兰使文官人数增加了一倍，达到20多万人，其中量才录用者仅大约有87，000人。实际上，不论是民主党人或“独立派”，克利夫兰均没有讨得他们的欢心。所以有人认为，他只是一个“虎头蛇尾的文官制度改革派”。
克利夫兰的经济政治观点是保守的。他深信，对于经济问题，政府的干预应愈少愈好。他反对制订较高的关税税率、赠予铁路公共土地、规定退休年金或者社会福利立法。在他身上反映出民主党人对“强有力的政府”的怀疑。这种怀疑的形成，部分地是由于南部对内战后的联邦政府政策的不满，部分地是因为民主党人长期在野，习惯于充当反对派。这个时期他们是一个主张扩大州权、限制联邦权力的政党。
最能体现克利夫兰总统上述思想的，是他在1887年否决《得克萨斯种子法案》时所写的一篇咨文。这一年得克萨斯州发生了百年不遇的严重干旱，国会应该州受害者的要求，决议拨付一小笔款项（1万美元），以购买农作物种子。但法案遭到了总统的否决。克利夫兰宣称：“我不相信全国政府的权力和职责应当扩及于救济个人苦难，那种救济与公用事业或公众利益没有任何形式的正当关联。无视于这一权力和责任的有限使命的那种流行的倾向，我认为应坚决予以抵制，俾使下述教训经常得以加强，即：虽然人民供养政府，政府却不应供养人民。此类情况之下的联邦援助，会鼓励人们寄希望于政府方面的家长式的照顾，从而削弱我们民族性格中的刚强。我国国民之间的友善和慈爱，是永远可以指靠来救助他们的遭逢不幸的同胞公民的。”
与那些有名无实的政党领袖相比，克里夫兰称得上敢做敢为，他会甘冒危害个人事业的风险，极力维护他认为是正确的东西。他在第一任期内毫不客气地否决了许多他认为是维持特权的法案。在4年之内，他否决的国会法案不下300项；而在他之前的21位总统所否决的法案加起来也不过132项。
在提交国会的第一份年度咨文中，克里夫兰要求实行低关税的政策。他认为内战以来的高关税政策不仅促成了受到保护的商品价格上升，还促成了托拉斯的发展。他还指出，联邦的岁入已超过“政府经济管理的实际需要”。在整个80年代，每年除正常开支外总有一笔近1亿美元的盈余。这笔盈余就“怂恿国会通过一些挥霍浪费的法案”。他还要求停止铸造银币。他警告人们，黄金被窖藏，国家财政制度正处于危险状态中。在此情况下，众议院拟定了一项降低关税的法案，但在参议院遭到共和党议员的反对而被搁置起来。在以后，关税争端还将不时地爆发出来，并成为这一时期两党无法回避的重大问题。