虽然波尔克野心勃勃，但在成为总统之前，他的名声并不大，也因为这样他后来才被称为是“黑马波尔克”。
在担任了两年的州众议院议员之后，波尔克于1825年成为了美国众议院议员。在国会任职时，波尔克反对小亚当斯政府的诸多政策，并坚决地加入了杰克逊的阵营。
在1828年的总统大选中，波尔克积极为杰克逊当选而四处奔走。从这个时候开始，战争英雄出身的杰克逊开始喜欢上了波尔克。
杰克逊就任总统后，两个人的友谊进一步加深。杰克逊执政之初面对的一个麻烦就是，副总统卡尔霍恩和国务卿范布伦之间的争斗。当时，很多官员卷入了这场争斗，而波尔克却能选择一种超然的态度面对这场争斗。波尔克的这种表现，让杰克逊总统非常满意。
杰克逊执政期间，做了一些有争议的事情，其中争议比较大的是挤压美国银行。当时，波尔克领导了众议院投票反对给美国银行继续颁发特许状，波尔克的这一行动无疑帮了杰克逊大忙。
在杰克逊跌宕起伏的政治生涯中，波尔克一直坚定地支持杰克逊。杰克逊有个“老胡桃树”的绰号，波尔克因为不断支持杰克逊，因此就有了“小胡桃树”的绰号。
杰克逊总统卸任之后，波尔克又支持杰克逊选定的接班人范布伦。范布伦当选后，波尔克退出众议院，以微弱优势当选为田纳西州州长。但在两年后，他试图谋求连任时，被辉格党人琼斯击败。
这些经历就是波尔克竞选总统前的大致从政经历，从这些经历可以看出，40多岁的波尔克到现在为止并没有担任过什么要职，也没有做过什么大事，所以他的威望并不高。这样一个威望不太高的人，要想赢得总统大选似乎是不可能的。
1844年总统大选开始了，民主党在巴尔的摩召开大会，威望不高的波尔克以副总统候选人的身份参加投票。
在第一轮投票中，前总统范布伦获得第一，而且得票数也过半。但1832年时杰克逊总统为了把范布伦推上民主党总统候选人一位，强制通过了“三分之二原则”。这个原则当时确实帮助了范布伦当选，但这一次却成为了范布伦成为民主党总统候选人的障碍。因为范布伦的得票没有达到“三分之二”。无奈之下，民主党被迫进行再次投票。
但在接下来的多轮投票中，范布伦的优势逐渐减少，到了第五轮投票时，来自密歇根州的卡斯开始领先。但卡斯的票数也没有达到“三分之二”，投票还需要进行下去。
已经进行了7轮投票，波尔克没有得到一票总统票，因为他只是个副总统候选人，总统似乎和他无关。但波尔克在第八轮投票中突然出现了转机，因为他得到了第一张总统投票。这个时候，波尔克并没有表现出太大的兴趣，因为一张票简直太少了，少到带有点讽刺意味了。
但第九轮投票时，形势突然发生了戏剧性的变化，本来毫无希望的波尔克一下子得到了233票，而卡斯和范布伦则分别得到了29票和2票。这样一来，波尔克就一下子成为了民主党的总统候选人。
那时电报发明不久，波尔克当选民主党总统候选人的消息，是用电报自巴尔的摩传到华盛顿的。这是美国第一次以电报传递政治新闻。消息传来，人们极为意外，甚至不敢相信，还以为是电报传错了。
会前没有任何希望，前七轮投票没有任何征兆，第九轮突然以压倒性优势胜出，波尔克也因此被称为第一个黑马总统候选人。