在伍德法官手下做事并不愉快，菲尔莫尔既要做书记员的工作，还要替伍德法官管理佃农，工作中菲尔莫尔有时需要把一些贫穷的人家赶走，这让贫苦出身的菲尔莫尔心里非常不舒服。
1821年菲尔莫尔在律师事务所工作的同时，又在外面找了一个法律方面的兼职，伍德法官非常不满，就和菲尔莫尔大吵了一架。之后，菲尔莫尔就离开了伍德法官，回到了父母身边。
这个时候的菲尔莫尔已经具备了一定的知识，他也因此在家乡找到了一个教师的工作。教师是难以有很大前途的，叱咤于美国政坛的那些精英们大都是律师出身，所以在做教师的时候，菲尔莫尔又利用业余时间，在当地的一家律师事务所学习，并于1823年获得了律师资格。
律师是一个高收入、有地位的工作，菲尔莫尔从一名没有受过正规教育的织布学徒工，通过自学成为一名律师，这无疑是一步非常大的跨越。
从1823年开始，23岁的菲尔莫尔进入纽约司法界，开始在布法罗附近的东奥罗拉开业当律师。他以诚实、可靠和勤奋而广受赞誉，并迅速获得成功。
从进入司法界开始，菲尔莫尔也开始涉足政界。1829年，菲尔莫尔以反共济会派的身份，进入了州议会。三年后，菲尔莫尔进入了美国国会，并协助在纽约州西部建立了辉格党。
在1840年的总统大选中，菲尔莫尔支持哈里森。但哈里森当选总统以后，很快就去世了，由约翰·泰勒晋升为总统。当时党内元老克莱想利用自己的影响，在辉格党内孤立泰勒，菲尔莫尔非常明确地反对克莱的这一做法。
菲尔莫尔这样做主要并不是基于和克莱政见上的分歧，而是因为菲尔莫尔不想让辉格党陷入分裂。此时菲尔莫尔的威望还很小，所以他的行为并没有取得什么效果。后来，菲尔莫尔又加入到了克莱的阵营，鼓励泰勒内阁成员集体辞职。
1844年总统大选时，菲尔莫尔成为了辉格党副总统候选人之一，但他排在另外两个副总统候选人之后，所以没有能够真正成为辉格党副总统候选人。
四年后，辉格党再次召开全国大会，战争英雄扎卡里·泰勒成为了总统候选人。菲尔莫尔本来和泰勒可以说是素不相识，所以菲尔莫尔本来不太可能成为泰勒的竞选伙伴。但就是在辉格党大会上，党内元老克莱正式提议菲尔莫尔为辉格党副总统候选人。经过两轮投票，菲尔莫尔真的成为了辉格党的副总统候选人。
在1848年的总统大选中，泰勒凭借战争英雄的光环赢得了大选，菲尔莫尔也顺理成章地成为了副总统。
在辉格党内提名之前，菲尔莫尔和泰勒连面都没有见过，所以菲尔莫尔这个副总统注定了不太受泰勒重视。而且副总统本来就没有多大权力，所以菲尔莫尔做这个副总统看来不会有太大的好处。
但泰勒当选总统的一年后，突然病倒了。1850年7月9日，菲尔莫尔礼节性地和大家一起看望了生病的泰勒总统。
看到病重的总统，这个时候，大家都意识到，泰勒总统的日子可能已经不多了。但令菲尔莫尔没有想到的是，总统去世得竟然这么快，就在看望了泰勒总统的当天夜里，菲尔莫尔就收到了泰勒总统去世的消息。
按照惯例，菲尔莫尔即将晋升为总统，但菲尔莫尔明白，成为总统后他将面临棘手的奴隶制问题，为此，菲尔莫尔彻夜未眠。
7月10日上午，在国会联席会议上，在威廉·柯兰奇法官的主持下，菲尔莫尔宣誓成为了美国第12任总统。