1924年10月1日，卡特生于美国佐治亚州普兰一个花生农场主家庭。卡特与父亲同名，故称小詹姆斯·厄尔·卡特，签名时他常用“吉米·卡特”。
很小的时候，卡特就表现出了经商的头脑。他的第一项商业活动就是卖花生，这个时候卡特只有5岁。花生成熟的季节，卡特推着小推车到地里，拔起花生，把它们运回家，洗净，在盐水里泡一夜。
第二天天刚蒙蒙亮时，卡特就开始工作，他先把花生煮半个多小时，接着把花生捞出，滤干，半斤1袋，分装20多个纸袋。周六的时候，他甚至可以准备40袋。一切就绪之后，卡特把所有的纸袋放进大筐，骑上小自行车，去普莱恩斯城里卖花生。
小孩做生意有时难免被一些喜欢恶作剧的大人作弄，卡特也不例外。卡特卖花生时经常要经过一个加油站，那里常常会有几个退休老兵在站外闲聊，喝酒。看到卡特卖花生，他们偶尔也会买一些。
8岁那年的一天，卡特卖花生时又经过加油站，一个老兵对卡特说：“你按照我的手指方向迈步，如果能够准确无误，我就买你的花生。”
卡特同意了，就聚精会神地盯着这个老兵的手指，前进、后退、向左、向右……突然，卡特的脚心一阵刺痛。原来，这个老兵故意让卡特踩上了一个未熄灭的烟头。这个时候的卡特没有穿鞋，烟头的余火让卡特疼的跳了起来。
这些老兵则捧腹大笑起来。想着他们都是自己的顾客，卡特就没有说什么，只是忍着怒火，一声不吭地离开了。
卖了几年花生以后，卡特已经积攒下了一笔钱。当时棉花价格降到了低谷，一斤只卖0.05美元，棉花批发商积压了大量棉花。卡特在父亲的带领下找到了一个棉花批发商，用卖花生的三年积蓄，购买了5包（一包500斤）棉花，存在了后院的小仓库里。
几年后，棉花价格涨到了0.18美元一斤，卡特立即卖掉了那5包棉花。正在这时，附近的一个农场主去世了，卡特用卖棉花的钱买下了5间农房，并把它们转租给附近的农场雇工。
直到卡特在海军学院上学的一年后，他才卖掉了那5间农房，价格则是买时的3倍，所以卡特的投资回报颇丰。
对于小时候的这些经商经历，卡特回忆说：“卖花生的经历，对我一生的影响，无法估量。”因此，后人也把卡特称之为“卖花生的总统”。
父亲看到卡特这么有经商头脑，就将他送到少儿农业培训班，并决心将卡特打造成一个种花生贩花生的商人。
在少儿农业培训班里，卡特学习也非常认真，老师也常常在班上夸奖卡特将来一定是个贩花生的人才。
但卡特的兴趣却并不在此，在他幼小的心灵里，当海军通信员的舅舅是他崇拜的英雄。正是因为这个原因，1943年卡特进入马里兰州美国海军军官学校（即安纳波利斯海军学院）学习。
在海军学院，老兵常常欺压新兵，卡特自然也难逃厄运。比其他新兵更为糟糕的是，卡特充满阳光的笑容和带有南方味的口音，都让老兵们很是不爽，所以卡特比其他新兵被欺压的更严重一些。
1946年，卡特从海军学院毕业，在820名毕业学员中，卡特排名第59位。对于这个成绩，卡特非常满意，因为他平时学习并不太用功，学校在卡特的年册中写道：“学习对卡特来说并不费多少工夫。只有同学遇到难题需要帮助的时候，他才会翻开书本。”