禁运在1809年3月被废止，这时杰斐逊还没有离任。之后，除了英、法两国，所有的贸易重新开启，这样就使麦迪逊的新政府不用再为了什么去低声下气地讨价还价了。只是，麦迪逊不知道，当他颤抖着双手在国会里要求宣战的时候，英国政府已经向美国的这种“经济武器”投降，已经撤销了通令。但是当时通信科技没有这么发达，要不然就不会有战事的发生了。
伟人的余生
1809年的时候，杰斐逊回到了弗吉尼亚养老。他的亲朋好友都希望他马上开始写回忆录，但是他一再婉言拒绝。直到他到77岁的时候才开始写自传，只是，他很不愿叙述自己的私生活，总是记载他事业里的一件件没有任何味道的事迹，杰斐逊写了60多页之后，就觉得谈论自己实在是没什么用处，直到他把1789年离开巴黎的事情写完，就把写回忆录的事全部都抛弃了。
杰斐逊即使在77岁的时候仍然像27岁时那样充满了理想。此时他正积极地准备筹建弗吉尼亚大学，把他那好像永远用不完的精力都花在这个大学的兴建上。
杰斐逊在两个著名建筑家的帮助之下草拟了校内大部分建筑的蓝图。杰斐逊同时还计划好了课程，尽力挑选了课程的教授，其中大部分是来自欧洲的学者。
自从退休以来，杰斐逊就在白杨林的农庄建造了第二个居所，用来躲避那些蒙特沙罗的访客。为了弗吉尼亚大学，杰斐逊把校园设计成自己认为最严肃而赞赏的样式，后来他还加以修改变化，让它适合大学的实际需要。
弗吉尼亚大学校内有个圆厅，是他照着罗马的万神殿为模型而设计的，用来当图书馆用的，但是杰斐逊本来打算把它用作星象馆，让星星在各自的位置上投影出来，而且可以让一个人在可移动的座位上操作。虽然学校建成后与杰斐逊之前的设计有些差别，但是大学仍旧是美国文明中最杰出的建筑设计之一。
杰斐逊为他的大学所设计的课程，也是美国教育史上的一大成就。大学的课程包括现代和古代语言、纯数学、陆海军的兴建、机械学、光学、天文学、气象学、地理学、解剖学、物理化学、矿物学、哲学、博物学、法学、纯文学与美术，只是没有宗教方面的学科，而医学的研究也只是限于理论方面。
这所大学最后在1824年5月正式启用，共有10个馆，109间宿舍房间，学生218人。杰斐逊为自己写的墓志铭是这样的：“独立宣言与弗吉尼亚宗教自由法的起草人，与弗吉尼亚大学之父。”他这么写，是因为这些事迹是他最希望人们怀念的。
杰斐逊在最后几年的时光中，身体状况不是很好，经常会焦躁不已。1819年的经济恐慌，还有连年的农作物歉收，让他想逃脱出债务困境的希望破灭了。杰斐逊一直期盼第二年会丰收，偏偏遇上意外的天灾，结果他的债务越积越多，后来终于破产。尽管这样，杰斐逊的某些花费还是有增无减，尤其是他在好客这方面，他出手十分阔气，不愿让别人觉得他小气。
杰斐逊对自己的债务总是忧心忡忡，他此时内心特别矛盾，他既害怕别人说他吝啬，又不情愿清偿旧欠。他担任总统的时候，曾经成功地减少了国债，然而为什么自己的债务却屡屡增加了呢？杰斐逊的母亲在1770年积欠英国银行的债款，他到了1808年的时候还没有还清。杰斐逊自己也欠了好朋友威廉·肖特等人的钱，拖了好几年，如果不是把自己的藏书卖给了国会图书馆，估计也是还不清了。
很多债务是杰斐逊不想还的：一些他认为根本就不欠，还有一些是迫于现实的需要，不得不一直拖欠，另外一些就是他着急要还的。杰斐逊对钱财的这种放任不羁，可能从小就养成了，特别是他的父亲，因为他是继承人，而且是家中天分最高的孩子，不免对他放纵。而且杰斐逊自己也不愿做个小气鬼的父亲，不管是在情爱方面，还是在金钱方面，所以他经常对家里的人付出大量的爱和钱。
1818年时，尼古拉斯担任弗吉尼亚州州长，是里士满一家银行的董事。他有一个达2万美元的借贷，需要杰斐逊签名作保，而此时的杰斐逊稀里糊涂地就把名字签上了。到1819年经济开始出现恐慌，弗吉尼亚境内的所有银行都关门大吉，而尼古拉斯这时也被拖垮了，没过多久就去世了。悲惨的杰斐逊现在自己要负责这2万元的贷款了，每年光是利息就要付1200元。无奈之下，杰斐逊把大批的黑奴卖给了外孙弗朗西斯·埃普斯，得到了3500元。但是这些钱跟那2万元实在是差太多了，这时，他的孙子托马斯·杰斐逊·伦道夫建议他，让他来处理杰斐逊所有的财产，杰斐逊就同意了。
自从银行倒闭之后，许多人都对银行的设立心怀恨意，于是人们想起杰斐逊之前也是不信任银行的，就有人希望他的女婿托马斯·伦道夫竞选州长。人们都不知道他的精神有毛病，而且他竟然连续三年都赢得了选举。在职期间，伦道夫实行的是杰斐逊的共和主义，提倡逐步解放与准许黑奴出境，并且积极修建弗吉尼亚大学。杰斐逊的女儿玛莎很少跟他住在里士满，后来伦道夫就开始酗酒，这样的举动让人们把他看成是个失败者。而伦道夫离职的时候，他已经欠下三万多元。伦道夫把自己的财产契约都移交给儿子后，人开始变得更阴沉了，一定要到了晚上才肯去蒙特沙罗，最后他索性不再与岳父杰斐逊和他的儿子来往。1823年，杰斐逊的女婿约翰·埃普斯过世了。
杰斐逊78岁的时候，他不小心从破损的台阶上摔了下来，左手腕和左手臂都断了，等到骨头长好之后，手腕一直是肿胀着的。
虽然在蒙特沙罗安装了富兰克林式的炉子，比普通的壁炉温暖得多，但是杰斐逊到了冬天还是很怕冷。后来，杰斐逊患了前列腺肥大症（男性特有的腺体的良性肿瘤），再加上他双腿肿胀，走起路来都十分困难。刚走一小段的距离，他就会感到格外痛苦。
1824年12月，有个老朋友过来拜访杰斐逊，发现他在82岁这么大的年纪之时，还每天骑马锻炼身体。有一次，杰斐逊的马失足跌到了急流中，他那已经残废了的手腕又刚好套在缰绳中，这下差点把他淹死。杰斐逊很害怕老去，他认为一个人老了，就算仍然身体硬朗，但是神志已经开始不清，记忆也逐渐丧失，活着没有什么意思。
1824年，很长时间没有联系的老朋友拉法耶特从法国过来拜访杰斐逊。与他一起来的人当中，有个苏格兰的女子叫弗朗西斯·赖特。她的思想十分激进，而且十分厌恶种族歧视。当从蒙特沙罗回去不久，她就写信给杰斐逊，主张建造黑白人混合的学校和小区，并且普及教育，请求杰斐逊给予她声援。杰斐逊回信说，他已经年纪大了，对于政事已经不想过多过问了，但是杰斐逊认为她的想法很好，一定会得到人们的帮助的。结果弗朗西斯真的在田纳西州建立了一所黑白人混合小区，而这是美国第一个种族混合的小区。
拉法耶特返回法国之后，杰斐逊的债务情况更为严重，债主们总是不停地催促，万般无奈之下杰斐逊只有让孙子取得弗吉尼亚议会的同意，用卖彩票的形式出售所有的土地，打算借此能够暂时筹钱应付那些债主，同时还打算留下钱给女儿玛莎和她幼小的子女当教育费用。虽然伦道夫很努力，彩票却几乎卖不出去，这让杰斐逊十分愁闷。不过后来杰斐逊的这种状况传到了北方的其他州里，有人打算对杰斐逊的土地进行私人购买，因此彩票的计划就中断了。杰斐逊在他生命中的最后两个月里还是比较轻松快乐的，因为他的蒙特沙罗得以保全了。
这个时候的杰斐逊，病症总是不断地缠绕着他。很久之前，杰斐逊就从来不信任医生，但是他现在实在疼得痛不欲生了，只好勉强去费城找一个医生去看病。这个医生在检查完杰斐逊的症状之后，用塑胶的导尿管给他导尿，这才让他觉得舒服了很多。
在杰斐逊生命的最后几个月当中，他每天晚上必须服用一些鸦片才能忍住疼痛入睡。让人吃惊的是他的顽强意志，尽管他的病情十分严重，但是依然继续骑马从不停歇。
因为仍然存在着债务的关系，卖田卖地的那些钱还债还是还不起，所以之前想要释放所有黑奴的计划也不能实施了，只是，有些奴隶是必须要释放的。最后，杰斐逊挑选了五个全是赫明斯家的人，将他们释放了，只是杰斐逊还是没有释放萨莉。
不过，最让人称奇的是杰斐逊竟然能够“控制”自己死亡的时间！事实是这样的，约翰·亚当斯和杰斐逊两个人约定好了等过了《独立宣言》签署50周年之后再死，结果两人真的都做到了。
1826年7月3日晚上，杰斐逊忍着最后一点生气抬头问自己的孙女婿说：“今天是4号吗？”因为过了4号，就是独立宣言的50周年了。到了晚上12点的时候，家人都害怕他随时都会去世，杰斐逊就再也见不到他想看到的4号了，就请他服药。但是杰斐逊凭着自己顽强的意志，不再服药，直到坚持到了4号，杰斐逊才安静地离开了人世。
杰斐逊的去世，立刻让蒙特沙罗陷入了慌乱之中。女儿玛莎悲痛欲绝，带着她的儿女抵达波士顿吊唁，并且在那里住了一阵子。过了不久，蒙特沙罗就被出售了，许多奴隶也都不得不被拍卖了。
而蒙特沙罗这个地方，因为伟人的去世，也逐渐衰败下来。后来，弗吉尼亚人在《独立宣言》签署150周年与杰斐逊逝世100周年的纪念日上买下了蒙特沙罗，作为国家的圣地。