1800年1月7日，菲尔莫尔出生在纽约州卡尤加县洛克附近的一个小木屋里。菲尔莫尔的父亲曾经是一个农场主，但后来家道中落成为了一名佃农，所以菲尔莫尔的家境不是很好。
小的时候，菲尔莫尔只接受了一些基础教育，而他更多的时间则是用来干农活，例如收割、砍柴等。童年的艰辛激发了他对未来的憧憬，从很小的时候，菲尔莫尔就发誓将来一定要走出农场，要出人头地。
虽然有远大的理想，但菲尔莫尔的起点却不好。14岁的时候，父亲让菲尔莫尔跟着一个织布工人（一说裁缝）当学徒。菲尔莫尔非常不喜欢这个学徒工作，大约干了4个月后，他就辞职了。
辞职以后，菲尔莫尔也难以得到更好的工作，这既是因为他的年龄实在太小了，也是因为家里也没有什么社会关系。无奈之下，父亲把菲尔莫尔送到了纽约州的牛霍普，继续跟织布工人做学徒。
辞去一个学徒工作又得到一个学徒工作，菲尔莫尔似乎没有经历什么变化。实际上，这次工作变化对菲尔莫尔的影响很大。因为新工作所在的社区有一个流动图书馆，没事的时候，菲尔莫尔可以到图书馆看看书。
不看书不知道，一看书菲尔莫尔才发现，自己的词汇量太少了，很多东西他都看不懂。对于大多数人来说，遇到这种情况可能就放弃了，但菲尔莫尔没有。他专门买了一本字典，工作之余，他就利用字典学习新的词汇。
一晃菲尔莫尔已经19岁了，大概是感到靠自己用零碎的时间学习，根本很难系统学到东西。这一年，菲尔莫尔决定去一所学校学习。说它是一所学校，实际上并不太确切，因为据说这所学校只有一间教室。
和那些正规的大学不同，菲尔莫尔所上的这样一所学校，主要是教学生一些基础性的东西，学生的年龄都不是很大。这样一来，19岁的菲尔莫尔也就成为了这所学校里年龄最大的学生。
这个年龄选择这样一种学校学习，菲尔莫尔的目的非常简单，那就是学知识。所以进入学校以后，菲尔莫尔学习非常勤奋。
勤奋的学习不仅让菲尔莫尔学到了知识，还让他收获了爱情。也就是他进入这所学校的这一年，艾比盖尔·鲍尔斯来到这所学校教书，而她只比菲尔莫尔大一岁。菲尔莫尔学习很勤奋，但他的基础并不好，所以鲍尔斯需要花很多时间来辅导菲尔莫尔。菲尔莫尔勤奋上进的态度让鲍尔斯很感动，两个人日久生情，很快由师生成为了情侣。
跟着织布工人当学徒是不会有太大前途的，鲍尔斯开始鼓励菲尔莫尔换个工作。这个时候菲尔莫尔的父亲安排菲尔莫尔去伍德法官的律师事务所学习，这让菲尔莫尔兴奋万分，据说菲尔莫尔还因此“当众落泪”。
在律师事务所，伍德法官让菲尔莫尔做了一名书记员，这个职位并没有多少钱。伍德还要求菲尔莫尔必须解除和织布商的契约，这就需要一笔钱，而且菲尔莫尔还要应付自己的日常开销。
考虑到菲尔莫尔没有资金，伍德就借给了菲尔莫尔一点资金，但这远远解决不了菲尔莫尔的问题。菲尔莫尔被迫找了一些业余工作，直到几个月后，他才用30美元解除了和织布商的契约。
从织布工人的学徒转变成为律师事务所的书记员，这对菲尔莫尔来说无疑是个重大转折。正是因为这个转折，他才有可能完成自己“出人头地”的梦想。