洪武元年，58岁的刘基成为大明朝的开国元勋。此时他心里想了很多，一股莫可名状的惆怅控制了他的情绪，他的思绪就像脱缰的野马，跑了很远。随圣上征战十余年，凭借自己的学识，为其打下了江山。然而，刘基熟悉朱元璋也熟悉历史。他知道，朱元璋这个人猜忌多疑，刚愎自用，区别是非、判断善恶的标准，往往是他个人的意志，他讲君臣关系时可以说是冠冕堂皇，而实际上他对部下时时不忘严加防范，怕他们夺取自己的权位。刘基也明白朱元璋不是唐太宗那样的圣主，没有他那样的度量，唐太宗不仅能和功臣共患难，更能同富贵，为了保全功臣，唐太宗可以说付出了很多，而且和功臣们也可以说得上是推心置腹。朱元璋却不是这样的人，他只可以共患难而不可以同富贵。刘基更熟悉中国的历史，他想到了春秋越国的大夫文种，帮助勾践灭亡吴国，可是成功后勾践却把他杀害。他知道朱元璋就是越王勾践一类的君主。想到这，范蠡映入刘基的脑海，他在帮助勾践灭吴后，浮海泛舟做了一个商人。刘基决定学范蠡，托辞致仕，回归故土。
洪武元年七月，朱元璋从汴梁回到应天，正当各地捷报频频传到京都，君臣上下沉浸在一片欢乐喜庆气氛之中的时候，刘基突然提出了告老还乡的请求。对此，朱元璋感到惊讶不已。刘基的这个决定，确实使朱元璋和同僚们感到突然和费解。自从出山投奔朱元璋，到削平群雄而建立大明王朝，刘基以他第一流谋士的身份，十数年来跟随朱元璋南征北战，付出了全部的心血，作出了巨大的贡献。本应该在大功告成之后，以功臣自居，封侯赐爵，这才是情理之中，然而他却没这样做，这正是他超乎常人的独特之处。“飞鸟尽，良弓藏；敌国破，谋臣亡”的道理，他比谁都懂。
就在朱元璋回到应天后不久，因为李斌的事情，李善长弹劾刘基擅权揽政。再加上此时刘基对朱元璋建都凤阳的事予以谏阻，让朱元璋很不满意，刘基决定就此告老还乡。从历史上功臣被杀的先例看，刘基的急流勇退是正确的。他完成了张良的功业，此时他也要学张良。洪武元年八月，朱元璋准了刘基的请求，让他告老还乡。
刘基回家后仅过了几个月，朱元璋又亲自下诏召刘基回京。无奈之下，刘基回到应天。回来后，朱元璋对刘基可谓是恩宠备至。因为刘基夫人刚刚去世，朱元璋就赐一名宫女给他做侍妾，然后追封刘基的先人。同时恢复了他御史中丞、太史令的职务，并且加授弘文馆学士的头衔，以示荣宠。
洪武三年（1370年）十一月初，徐达和李文忠的北伐大军班师回京。紧接着，朱元璋便大封功臣。封公者有六个人，封侯的有二十八个人，所封公侯中竟然没有刘基。这是为什么呢？这还是要从刘基的为人说起，刘基明白位越高则危险越大。当年张良为刘邦开创大汉朝立下不世之功，刘邦要在富庶的齐国为他选三万户作为封赏，张良固辞，只封了留侯而已，这是张良的全身而退之道。刘基是朱元璋的张良，他当然在封赏上也要学张良。朱元璋觉得如果不封赏刘基实在有点对不起他，因此，朱元璋下诏封刘基为诚意伯，赐铁券，这比起李善长来差远了。虽然刘基自己并不在乎这些，但还是从这件事上得出结论，朱元璋不再像从前那样信任和器重自己了，既然这样，何不再回到家乡，去过安静而又与世无争的生活呢？
洪武三年（1370年），刘基被授为弘文馆学士，十一月，朱元璋大封功臣，册封刘基为开国翊运守正文臣、资善大夫、上护军、诚意伯。次年即洪武四年（1371年）正月，刘基提出了告老还乡的请求，朱元璋终于同意了，刘基很是高兴。无论如何，朱元璋总算满足了刘基这位勋臣最后一点小小的愿望，这对于襟怀坦荡、淡泊名利的刘基来说就足够了。这年四月，刘基安全回到家中，从此便开始了隐居生活。他远离官场，摆脱了尔虞我诈的烦扰，如释重负。这也正是刘基在功成之后所渴望得到的。他终于回到了自己的故乡，看着亲人，看着家乡的山山水水、一草一木，刘基感到从未有过的轻松和愉快。
刘基每天都是以饮酒弈棋为乐，对自己过去的功劳绝口不提。因为刘基有威名，又是朝廷的勋臣，地方上的官吏都想见见他，但刘基都一一回绝。刘基之所以避见地方官，是因为他怕地方官奉承张扬，常来常往，传到朱元璋耳朵里，就会有植党结派之嫌了。既然隐居乡里，就彻底地与官场是非断绝联系，做一个普普通通的老百姓，以免惹出是非。刘基这次还乡，几乎天天和家人在一起，尽享天伦之乐。刘基认为自己人生的最后岁月就该这样悄无声息地度过。
可是，人的理想总与现实有着巨大的差距，甚至是相反的方向。刘基虽然已经告老还乡，过着与世无争的生活，但是自小接受儒家教育的他，始终不忘朱元璋的知遇之恩，仍然在关心着国家大事。他觉得自己虽然离开了朝廷，不在官位，然而还在享受着国家的俸禄，食君之禄，就要分君之忧，作为国家的勋臣，就应该发挥自己最后的光和热，尽一点微薄之力。
谈洋位于青田县南170里处，此地在处州与温州之间，又临近福建。此地地处山区，地势险恶，交通不便，是官府势力达不到的偏僻之地，历来都是流氓无赖聚集的巢穴。刘基得知这样的情况，考虑到这件事情关系到地方百姓的安危及大明皇朝的统一稳定，自己曾是朝廷命官，又是大明朝的开创者之一，有责任站出来管一管此事。于是便在洪武五年（1373年）秋，奏请朱元璋在这里设置巡检司，派兵把守。刘基命其子赴应天上奏，这没有经过当时的中书左丞相胡惟庸，引起了胡惟庸的不满，加之刘基平日就告诉朱元璋要慎用胡惟庸，他对此事一直耿耿于怀，总想找机会报复。这次刘基上奏没有经过中书省，他便以此事构陷刘基。须知大明朝的中书省是天下的政务机关，所有内外奏章都要先经过中书省，否则就是违制，刘基这样做无疑让胡惟庸抓住了把柄。于是，胡惟庸便在刘基奏请设立巡检司一事上大做文章。
胡惟庸指使刑部尚书吴云，诱引处州府和青田县的官吏构陷刘基，说刘基看中了谈洋这个地方，因为这里有“王气”，刘基想据为己有，作为墓地，当地百姓不肯，便提出设立巡检司的办法驱赶当地住户，因此激起百姓作乱。接着，胡惟庸请朱元璋按叛逆罪处置刘基。朱元璋虽然不完全相信，但是“王气”这两个字让本来就多疑的朱元璋犯忌讳，加之他深知刘基通晓卜易之学，说不定此事是真的。所以他虽然看在刘基开国功臣的分上没有治罪，但是却手诏切责了刘基，并下旨夺了他的俸禄。
对此，刘基十分惧怕。他知道朱元璋起自布衣，好不容易得到帝位，最害怕的就是臣下篡位。这个人既没有唐太宗的宽仁大度，也没有赵匡胤的保全功臣之意，而且雄猜好杀。无奈之下，这一年七月，刘基再次入朝，亲自朝见朱元璋，辩明此事。刘基在朱元璋面前顿首谢罪，引咎自责。为了消除朱元璋的怀疑与猜忌，刘基决定留在应天，不敢再提回家之事了。
刘基此时在京城可以说是如临深渊，如履薄冰。皇帝怀疑他也就罢了，当时的权相胡惟庸与第一功臣李善长也时时想着陷害他。早在洪武初年，刘基在和朱元璋讨论丞相人选的时候就得罪了李善长和胡惟庸。当初朱元璋起兵之时，李善长是第一个来投奔他的文士，此后李善长为朱元璋全心全意经营，保住了应天根据地，并为朱元璋源源不断地提供后勤补给，可谓功不可没。加之李善长在第一次面见朱元璋之时就为他解说天下大势，将朱元璋比作汉高祖，这一政治远见让当时的朱元璋深深折服，刘基对此也是大加赞赏。再加上李善长是淮西人，能够调和诸将之间的矛盾，保持内部的团结。大明朝开国，李善长可谓功勋彪炳。故此，朱元璋册封李善长为韩国公，位列功臣之首，并将自己的嫡亲公主许配给李善长的儿子，可见对他的器重之深。
可是李善长这个人虽然有汉朝萧何之功，却没有萧何那样的度量。外表虽然宽仁温和，但心胸狭窄，而且总是首先考虑淮西人的利益，这就使朱元璋大为不满。朱元璋本身是一个权力欲极强的人，特别是他当了皇帝以后，总是猜疑臣下对他不忠。开国初期，朱元璋忙于统一海内，委李善长以重任是形势上的需要，但是随着战事的减少，新王朝日益巩固，朱元璋感到与他仅仅一步之遥的左丞相李善长是他独揽皇权的一种牵制，因此对李善长越来越有戒心。在这种情况下，朱元璋便想免去李善长丞相一职。有了这个打算之后，朱元璋便找刘基商量，征求他的看法。刘基向来重视丞相的人选，认为国家大治几乎系于丞相一人。尽管李善长在暗中排斥他，但是他认为，李善长是朱元璋的勋旧，在诸将中有很高的威望，他在相位能够起到调和诸将的作用，这是别人无法替代的。不久李善长辞相，朱元璋想让杨宪接任，刘基不赞成，他认为，杨宪有相才而无相度，当丞相要持心如水，不能有私心，杨宪却不是这样的人，不适合当丞相。朱元璋又问汪广洋如何，刘基认为汪广洋还不如杨宪，不能称职。朱元璋又问胡惟庸是否合适，刘基认为他是最不合适的，他对朱元璋说，当丞相好比驾车，胡惟庸非但不会把车驾好，恐怕连车辕都要让他毁掉。朱元璋见自己说的三个人都不合适，那就请刘基来当丞相，可是刘基说，自己疾恶如仇，不适合当丞相。刘基这样说完全是出于公心，可是无意之中却得罪了权臣。李善长本意就是自己致仕之后由胡惟庸接替自己，以保持淮西集团在朝中的势力。但是刘基却反对胡惟庸当丞相，自然让李善长不满。再说胡惟庸，知道刘基在皇帝面前说自己不适合当丞相，阻断了自己升官的道路，自然怀恨在心，时思报复。朱元璋虽然询问刘基当丞相的人选，但是并没有采纳刘基的建议，在李善长致仕之后，命胡惟庸和汪广洋为丞相，随后，汪广洋因事获罪被赐死，胡惟庸升任中书左丞相，大权独揽，此时的他就更有条件陷害刘基了。
刘基在因为奏请设立谈洋巡检司之事上获罪，就留在应天。此时的他，心情沉重，时时担心自己有朝一日会有兔死狗烹的下场。在这种情绪的影响下，刘基很快病重，整天茶饭不思，逐渐卧床不起。
刘基卧病的消息很快就传到胡惟庸那里，胡惟庸为了除掉刘基，可谓处心积虑。此时，他听说刘基病重，便想出一条毒计来谋害刘基。胡惟庸派人买通太医院的太医，让他们在给刘基开的药中加放一种慢性毒药，然后命人将药送给刘基。因为是太医，朱元璋又下旨命令太医为刘基诊病，刘基没有怀疑，将药服下。而后一段时间，太医每日都来送药。朱元璋听说后也很高兴，毕竟刘基的功劳让他无法忘记，他希望自己的功臣能继续辅佐自己。
可是吃药后没几天，刘基就觉得腹中好像有拳头大小的东西，堵得难受，上下不通，精神越发不济，自己也想不明白是怎么回事。无奈之下，刘基将此事上奏朱元璋。谁知道，他的奏章被送到中书省胡惟庸的手中，朱元璋并不知道。刘基在痛苦中苦熬三个月，病势更加沉重。这时候朱元璋久不见刘基之面，便派了一个太监来探望，太监对刘基说，久不见老先生，皇上甚是思念，特地差他来探望，刘基这才知道自己的奏疏根本没有交给朱元璋，刘基随即向太监说明了情况。太监见诚意伯如此病重，便马上回宫向皇帝奏报此事。朱元璋听到刘基病危的消息后大惊，急忙再派人探望诚意伯，并兼询后事。刘基上奏，想回老家看看。朱元璋立即手诏派特使护送刘基回乡。在洪武八年（1375年）三月，刘基终于回到了家乡。
归家之后，刘基知道自己时日不多，便向儿子们安排后事。他写成奏疏，劝朱元璋以德治理天下，还要防范胡惟庸。他嘱咐他的儿子，在他死后，皇帝召见之时将此奏疏交给朱元璋。刘基在临死之际，想的还是国家大计和社稷安危。
洪武八年夏四月十六日，大明朝开国元勋、诚意伯、上护军、资善大夫刘基在家中安静地离开了人世。六月，刘基被安葬于家乡的夏山，没有墓表，没有石碑，更没有皇帝的恤典，唯有土坟一丘而已。