结婚之后，杜鲁门的境况并没有太大的改变。大概在婚后的一个月，杜鲁门与好友雅各布森开办了一家专卖男装的店铺，名为“杜鲁门与雅各布森”。
在最初的两年中，服装店经营得非常成功，但后来服装店生意变差，到了1922年，服装店终于破产，还让杜鲁门因此赔进去了2.8万美元。
杜鲁门是倒数第二位没有大学学位的美国总统，但他曾经于1920年，在堪萨斯城法律学校（即今日堪萨斯城大学的法律学校）读过两年的法律课程，只是没有获得学位。
1922年，杜鲁门当选为密苏里州杰克逊县东区的法官。能够获得这个职位，并不是说杜鲁门有多少才华，而是因为获得了堪萨斯城民主党政治集团首脑汤姆·彭德格斯特的帮助。
虽然名为法官，但这个职位的性质和县首长相近，都是具行政性质，而不负责审理案件。尽管杜鲁门做得很卖力，他反对浪费，兴修道路，但1924年他谋求连任时还是失败了。
连任失败之后，杜鲁门一度去了一个俱乐部做会员推广工作。这个时候的杜鲁门已经到了不惑之年，事业依然毫无建树，看来他的这一生就要这样平凡地度过了。
然而，就在1926年，杜鲁门当选为了杰克逊县的首席法官，4年后又获得了连任。当然这一切都离不开彭德格斯特的支持。
其实，杜鲁门早期的发展一直离不开彭德格斯特。彭德格斯特是民主党在密苏里州肯萨斯城和杰克森县的负责人，他是那种被称为“政治老板”的那种人，这种人通过各种方法掌握选票。
为了达到控制选举的目的，这种人不惜动用各种手段，其中也包括犯罪手段。所以这种人大都具有黑社会背景。在选举时，这种人让自己人在选举中获胜。在自己的人被安插进政府之后，他即可从中得到很多好处。
有了彭德格斯特这样的靠山，杜鲁门的政治胃口也被吊了起来，他希望竞选州长或者某个州内肥差。但这个时候，彭德格斯特已经把这些职位许给了别人，他就鼓励杜鲁门：“要把眼光放远一些，应该去竞选美国参议员。”
于是，杜鲁门真的答应了。1934年，在彭德格斯特的帮助下，杜鲁门成功地以民主党的身份进入美国参议院。就这样，密苏里州出生的小人物杜鲁门，终于将自己的视野转向了全国。
尽管杜鲁门是靠有黑社会、贪腐、幕后操纵等身份的彭德格斯特走向政坛的，但进入参议院之后，杜鲁门还是有一些作为的。尤其是“二战”期间，杜鲁门担任了国民安全监督小组主席，这让他的名字开始为公众所熟知。
杜鲁门开始在政坛崛起之后，他曾经的后台彭德格斯特，却因为密苏里州州长竞选期间出现贿选丑闻被调查，最后因逃税、保险诈骗等多项罪名，被判了15个月的监禁。
彭德格斯特倒台之后，杜鲁门的运气并没有就此而去。1944年大选时，即将完成3个总统任期的罗斯福，打算谋求第四个总统任期。罗斯福赢得连任是没有任何悬念的，但大家其实都知道，按照罗斯福的当时是身体状况，他不太可能能够完成他的第四个总统任期，所以很多民主党代表都认为，选择罗斯福的竞选伙伴实际上就是选择下一任总统。
罗斯福第三个任期时的副总统亨利·华莱士，因华莱士被认定为亲共产主义，而遭到民主党和共和党人的指责。为了顺利赢得连任，罗斯福总统抛弃了华莱士。
挑谁做自己的竞选伙伴呢？当时罗斯福中意的人选有三个，他们是最高法院法官威廉·道格拉斯、战争自动化主任詹姆斯·伯恩斯和杜鲁门。几经权衡之后，罗斯福选择了杜鲁门。
起初，杜鲁门对是否做副总统犹豫不决，当时很多人不是很理解杜鲁门的犹豫，他们以为杜鲁门嫌副总统没有多大权力。直到多年后，杜鲁门的女儿才解释说，杜鲁门对出任副总统犹豫是因为，他担心在竞选时，他岳父在1903年自杀的事情被政敌给揭露出来，从而给自己的妻子带来难堪。
当然，杜鲁门的犹豫并没有持续多久，据说是因为罗斯福找人传话给杜鲁门：“告诉他，如果他想在战争中分裂民主党，责任在他。”听到罗斯福的话后，杜鲁门决定做罗斯福的竞选伙伴。
在1944年大选中，罗斯福毫无悬念地赢得了选举，杜鲁门也因此成为了副总统。但杜鲁门的副总统并没有做太久，1945年4月12日，杜鲁门突然被告知罗斯福总统去世了。当天晚上7时零9分，在哈兰首席大法官的主持下，杜鲁门正式晋升为总统。