1790年，接受华盛顿总统的任命，杰斐逊成为美国第一任国务卿。美国国务卿设立于美国独立之初的1789年。在美国的三权分立中，总统代表最高行政权力，国会则代表立法权力，法院行使司法权。
为防止在外交上出现“两权分立”、相互掣肘，当时的众议员麦迪逊提出议案，政府应设外交部和外交部长一职。接着，外交部又改组成为国务院，国务院最高行政长官即为国务卿。
国务院成立初期，国务卿除负责对外事务外，还兼管领地、保管国家文献，与联邦法院联系等一些内政。后来，国务卿主要负责外交事务。
国务卿由总统任命（经参议院同意），并对总统负责，是仅次于正、副总统的高级行政官员，在联邦政府各部首长中居首位。
美国国务卿在美国的国家政治事务中，有着非同寻常的地位与影响，在国外也有着很深的影响力，所以又被誉为“美国的脸”。杰斐逊成为了第一任国务卿，也因此被认为是第一任“美国的脸”。
国务卿主管的工作是外交，而当时美国最主要的外交就是对英、对法关系，杰斐逊主张对法国亲近，对英国持怀疑态度。杰斐逊的这个外交思想和汉密尔顿分歧很大，汉密尔顿凭借财长一职，对杰斐逊行使国务卿职权构成制约。
那时国务院的规模很小，只有七八个工作人员，办公经费也少得可怜，一年预算还不足1万美元。
尽管如此，杰斐逊在任国务卿期间，还是做了许多工作。这既是因为杰斐逊的勤劳，更是因为杰斐逊挑选人手的眼光。当时在国务院工作的他手下的七八个工作人员中，后来有6位成为了美国总统。
虽然国务卿在地位上要超过其他部长，但遇到强势的部长，有时候国务卿也没有办法。杰斐逊担任国务卿时，就遇到了一个强势的部长，他就是财政部长兼联邦党的创始人汉密尔顿。
当然导致杰斐逊最后辞去国务卿一职的不仅是因为汉密尔顿，还因为杰斐逊手下的翻译飞利浦·弗瑞诺。
当时，这个弗瑞诺不仅是一名法语翻译，还是《国民公报》的编辑。他利用编辑的身份，对杰斐逊的政敌汉密尔顿进行了攻击。
尽管事后证明，杰斐逊本人并没有指使弗瑞诺对汉密尔顿进行攻击，但杰斐逊任命、并拒绝压制弗瑞诺，这还是让杰斐逊在内阁中的地位下降。看到华盛顿总统采纳了政敌汉密尔顿的意见之后，杰斐逊非常不愉快，他果断地辞去了国务卿一职。
在任国务卿一职时，还发生过一件大事，那就是杰斐逊成为了共和党领袖。事情的经过是这样的，1791年，杰斐逊和汉密尔顿的反对者麦迪逊进行了一次植物考察旅行。令很多人没有想到的是，这次普通的植物考察旅行，却成为了共和党成立的第一步。
在此之后一年多的时间内，在麦迪逊的领导下，美国诞生了一个新的全国性政党，即共和党，1894年共和党又改为民主共和党。由于杰斐逊的社会地位和政治影响都比麦迪逊大，民主共和党便推举杰斐逊为该党派的精神领袖。
1796年华盛顿的两届总统任期即将结束时，美国第一次真正意义上总统大选开始了。杰斐逊以民主共和党总统候选人的身份，准备和联邦党总统候选人亚当斯一起角逐下一任总统。
凭借华盛顿总统的支持，加之杰斐逊对此次总统争夺并没有太尽心尽力，用一些媒体的话来说，“杰斐逊本人在选举中一直作壁上观”。结果，亚当斯以微弱优势赢得大选。
在大选中，因为汉密尔顿从中作祟，杰斐逊因祸得福，意外地击败汉密尔顿支持的候选人平克尼，成为副总统（具体参见约翰·亚当斯一章）。
副总统地位虽然很高，但却非常空闲。美国副总统一项职权是主持参议院，在担任副总统期间，杰斐逊编撰了《议会实施手册》，到今天为止，杰斐逊编撰的这部手册依然在美国参议院中使用。