花近高楼伤客心，万方多难此登临。
锦江春色来天地，玉垒浮云变古今。
北极朝廷终不改，西山寇盗莫相侵。
可怜后主还祠庙，日暮聊为《梁甫吟》。
——《登楼》
六月，严武推荐杜甫为节度使署参谋及工部员外郎。杜甫就任后，严武对他关怀备至，完全没有以上对下的威严，故而引起了同僚们的嫉妒。杜甫心中也十分愁苦，他并不是攀关系或依靠逢迎才得到这个官职，可是同僚们哪里肯相信？在这样的环境下，杜甫的心情可想而知。
清秋幕府井梧寒，独宿江城蜡炬残。
永夜角声悲自语，中天月色好谁看？
风尘荏苒音书绝，关塞萧条行路难。
已忍伶俜十年事，强移栖息一枝安。
——《宿府》
虽然安史之乱已经平定，但代宗即位后，吐蕃又大举入侵中原，长安一度沦陷。后来郭子仪率军击退吐蕃，但西南边境依然岌岌可危。严武到任后，整顿军纪，率兵西征，击败吐蕃，巴蜀之地才算安定下来。严武击败吐蕃后，加拜吏部尚书，这时他才39岁，便已功业彪炳，如日中天。杜甫自然也为他的成功而高兴，但因杜甫在节度使参谋任上十分不愉快，且身体衰弱多病，所以再三请辞想回草堂休养，严武也只好勉强答应。杜甫担任这个工部员外郎的职位还不到半年，但是后人尊称他为杜工部，这是杜甫一生中的最后一个官衔。
自从安史之乱以来，杜甫一直过着颠沛流离的生活，这些年里，王维、李白、房琯、郑虔、苏源明等相继去世。代宗永泰元年（765年）正月，高适又病逝于长安，杜甫眼见旧日好友一一凋零，心中感伤万分。没想到五月间，正值春秋鼎盛的严武竟然一病不起，死于任所，这更使得杜甫伤痛哀悼不已。
严武的棺椁被置于船中，归返洛阳安葬。杜甫赶到江边送这位朋友最后一程。他看着船上随风飘扬的白幔渐渐远去，不禁潸然泪下。
素幔随流水，归舟返旧京。
老亲如宿昔，部曲异平生。
风送蛟龙雨，天长骠骑营。
一哀三峡暮，遗后见君情。
——《哭严仆射归榇》
寂寥残年
严武去世后，杜甫沉湎于回忆中，常常触景伤情。之后各武将飞扬跋扈，蜀中大乱，边关少数民族又时常侵犯边境，局势的不稳逼得杜甫不得不离开成都。五月末，告别草堂，告别淙淙细流的浣花溪，杜甫一家乘舟东下，经过嘉州（今四川乐山）、戎州（今四川宜宾）、重庆至忠州（今重庆忠县），在江边一座寺庙住了两个月后，九月间到达云安（今重庆云阳），疲累困顿的跋涉使得杜甫旧疾复发，于是便留在云安养病。
几经烽火流离，杜甫觉得一片茫然，54岁的他，这时已消退了热情，磨灭了雄心，名利对他来说已没有任何意义。他常茫然地望着江面，无可奈何地接受这终生飘零的命运。此时又赶上旧病复发，于是杜甫便在病榻上将旅于舟上的感慨宣泄于诗句。
细草微风岸，危樯独夜舟。
星垂平野阔，月涌大江流。
名岂文章著，官应老病休。
飘飘何所似，天地一沙鸥。
——《旅夜书怀》
次年春天，杜甫觉得身体好一些了，便举家迁往夔州，暂时居住在城内的西阁。夔州都督对杜甫颇有资助，夔州境内的东瀼溪两岸有公田百顷，据说公孙述曾在这里屯田，所以叫作东屯。杜甫在这里租到一些公田耕种。夔州是三峡中的一处山城，背山面水，风景绝佳，且三峡之一的瞿塘峡又在附近，极尽山光水色的旖旎。夔州城东就是著名的白帝城，此城建在江边险峻的断崖上，登城瞭望可见江涛拍岸，“卷起千堆雪”。
这时期，杜甫写下许多著名的诗句。他潜心创作，刻苦经营，暮年飘零、羁旅异地、面对满目萧条的秋景而引起的家国之思，以及对个人命运的悲叹等都一一融入诗句中，所以这一时期杜甫的七言律诗大放异彩，不仅有丰沛的情感内容，且创新了诗歌的形式，如《秋兴》八首、《咏怀古迹》五首这类的大型诗组，都在杜甫笔下一一呈现。
玉露凋伤枫树林，巫山巫峡气萧森。
江间波浪兼天涌，塞上风云接地阴。
丛菊两开他日泪，孤舟一系故园心。
寒衣处处催刀尺，白帝城高急暮砧。
——《秋兴》其一
夔府孤城落日斜，每依北斗望京华。
听猿实下三声泪，奉使虚随八月槎。
画省香炉违伏枕，山楼粉堞隐悲笳。
请看石上藤萝月，已映洲前芦荻花。
——《秋兴》其二
千家山郭静朝晖，日日江楼坐翠微。
信宿渔人还泛泛，清秋燕子故飞飞。
匡衡抗疏功名薄，刘向传经心事违。
同学少年多不贱，五陵裘马自轻肥。
——《秋兴》其三
闻道长安似弈棋，百年世事不胜悲。
王侯第宅皆新主，文武衣冠异昔时。
直北关山金鼓震，征西车马羽书迟。
鱼龙寂寞秋江冷，故国平居有所思。
——《秋兴》其四
蓬莱宫阙对南山，承露金茎霄汉间。
西望瑶池降王母，东来紫气满函关。
云移雉尾开宫扇，日绕龙鳞识圣颜。
一卧沧江惊岁晚，几回青琐点朝班。
——《秋兴》其五
瞿塘峡口曲江头，万里风烟接素秋。
花萼夹城通御气，芙蓉小苑入边愁。
珠帘绣柱围黄鹄，锦缆牙樯起白鸥。
回首可怜歌舞地，秦中自古帝王州。
——《秋兴》其六
昆明池水汉时功，武帝旌旗在眼中。
织女机丝虚夜月，石鲸鳞甲动秋风。
波漂菰米沉云黑，露冷莲房坠粉红。
关塞极天惟鸟道，江湖满地一渔翁。
——《秋兴》其七
昆吾御宿自逶迤，紫阁峰阴入渼陂。
香稻喙馀鹦鹉粒，碧梧栖老凤凰枝。
佳人拾翠春相问，仙侣同舟晚更移。
彩笔昔曾干气象，白头吟望苦低垂。
——《秋兴》其八
支离东北风尘际，漂泊西南天地间。
三峡楼台淹日月，五溪衣服共云山。
羯胡事主终无赖，词客哀时且未还。
庾信生平最萧瑟，暮年诗赋动江关。
——《咏怀古迹》其一
摇落深知宋玉悲，风流儒雅亦吾师。
怅望千秋一洒泪，萧条异代不同时。
江山故宅空文藻，云雨荒台岂梦思？
最是楚宫俱泯灭，舟人指点到今疑。
——《咏怀古迹》其二
群山万壑赴荆门，生长明妃尚有村。
一去紫台连朔漠，独留青冢向黄昏。
画图省识春风面，环佩空归月夜魂。
千载琵琶作胡语，分明怨恨曲中论。
——《咏怀古迹》其三
蜀主窥吴幸三峡，崩年亦在永安宫。
翠华想象空山里，玉殿虚无野寺中。
古庙杉松巢水鹤，岁时伏腊走村翁。
武侯祠屋常邻近，一体君臣祭礼同。
——《咏怀古迹》其四
诸葛大名垂宇宙，宗臣遗像肃清高。
三分割据纡筹策，万古云霄一羽毛。
伯仲之间见伊吕，指挥若定失萧曹。
福移汉祚终难复，志决身歼军务劳。
——《咏怀古迹》其五
杜甫不仅在《秋兴》八首中隐寓出思君怀乡的愁绪，在《咏怀古迹》五首里，更表露了他对为国尽忠的向往，以及半生凄凉，终不为朝廷所识的遗憾。杜甫自比庾信，有“暮年诗赋动江关”的自信，他敬佩孔明为国而死的忠贞，这些情绪其实都是因为郁郁不得志，在慨然怀古思今的情况下所产生的，如此气象恢弘！诗作表面上是伤怀遗迹和古人，事实上是感叹自己营营一生竟落得漂泊无依的境地！另外还有更为凄怆悲凉的词句，倾诉余年的萧索。
风急天高猿啸哀，渚清沙白鸟飞回。
无边落木萧萧下，不尽长江滚滚来。
万里悲秋常作客，百年多病独登台。
艰难苦恨繁双鬓，潦倒新停浊酒杯。
——《登高》
岁暮阴阳催短景，天涯霜雪霁寒宵。
五更鼓角声悲壮，三峡星河影动摇。
野哭千家闻战伐，夷歌数处起渔樵。
卧龙跃马终黄土，人事音书漫寂寥。
——《阁夜》
老态龙钟的杜甫已知道残年不可恃，想要回到故乡的欲望日益强烈，他殷切地盼望能和弟妹团圆，然而战乱未定，始终未能成行，他心中一直觉得遗憾。杜甫搬到瀼溪草堂不久后，竟意外地接到弟弟杜观的书信，信上说不久即到夔州看望杜甫，这个消息使杜甫兴奋了很久。可惜兄弟相聚几日后，杜观便起程前往蓝田（今陕西蓝田）。兄弟二人不得不再次分别，不过杜甫对这次离别并没有惆怅感伤，反而觉得很安慰。晚年寂寥，还能与兄弟见上一面，他已经觉得很满足了。
湘江水逝
自大历元年（766年）到夔州，杜甫一家在生活上虽然还过得去，但是当地潮湿的气候使得杜甫不能适应，他想要离开这里。大历三年（768年）正月中旬，杜甫一家自白帝城起航，出三峡，首先到了荆州（今湖北荆州），秋季又到公安县（今湖北公安），岁暮时抵达岳州（今湖南岳阳）。
在安定的土地上求温饱对杜甫来说本就艰难不易，更何况是漂浮无定的水上生活，杜甫年已老迈，无法营生，只能依靠儿女们偶尔捕鱼卖鱼勉强度日。杜甫也曾想去投靠各地亲友，但依赖别人生存终究不是长久之计，因而这里停一个月，那里停数十天，以船为家，不知道哪里才是彼岸。
在岳州，杜甫登岳阳楼见水势辽阔，天地悠悠，沧海一粟，想到飘零半生，亲朋零落，不禁老泪纵横，悲从中来，遂有《登岳阳楼》的感伤。
昔闻洞庭水，今上岳阳楼。
吴楚东南坼，乾坤日夜浮。
亲朋无一字，老病有孤舟。
戎马关山北，凭轩涕泗流。
——《登岳阳楼》
这时的杜甫耳朵已半聋，手臂很不灵活。第二年三月间，杜甫先到潭州（今湖南长沙），后来又到衡州（今湖南衡阳）逗留了些时日，夏季又再回到潭州。
大历五年（770年）春，杜甫在潭州靠着在渔市摆摊卖药来维持生计，有一天他竟然遇见了玄宗时的乐师李龟年，他也流落到潭州。杜甫昔年常到岐王李范或崔涤家里听李龟年的演奏，如今乱世他乡，竟能再度遇到故人，杜甫心中既欣喜又感慨，转而吟哦成诗，短短的四句诗道出了幽幽的叹息和无奈。
岐王宅里寻常见，崔九堂前几度闻。
正是江南好风景，落花时节又逢君。
——《江南逢李龟年》
回想起昔日长安的繁华，至今已十数年了，如今的长安残破不堪，连当初受玄宗宠爱的乐师如今也落得漂泊四方，靠卖唱为生的境地，时移世易，怎能不令人叹息再三。
杜甫摆摊卖药的收入根本不足以维持生计，时常入不敷出，这时他听说舅父崔玮在郴州任录事参军，于是放弃了卖药生涯，溯郴水入耒阳（今湖南耒阳），没想到遇江水大涨，小舟无法前行，只得停泊在方田驿。这一困就将杜甫围困了五天之久，他与外界断了联络，粮食也逐渐告罄。幸亏耒阳县令聂某听到这个消息后，修书慰问，并馈赠了许多酒肉，使得杜甫一家免于被饿死的命运。杜甫当时还写了首诗作为答谢。
江水一直不退，杜甫无奈之下只得北上回衡州。等水势退去后，聂县令派人来迎接杜甫，却找不到他的踪迹，他以为杜甫一家已死于江中，聂县令以敬悼的心情在耒阳城北为杜甫筑了一座空墓，作为纪念。当时曾有一传说，杜甫因为十多天没吃东西，当耒阳县令来迎接他，并带来牛肉白酒时，他由于饿得太久，于是猛吃猛喝，却不料因此一夜之间暴毙。
事实上，当杜甫胀死的谣言流传甚广时，他已经回到衡阳。倦极思归，贫病交迫的杜甫因长年逐水而居，宿疾转剧，风湿缠身，卧倒船中。悠悠江水都承载不了他的乡愁。杜甫知道自己的病体拖不了多久，想祈求诸位亲友资助他返回故乡，于是作了一首《风疾舟中伏枕书怀三十六韵奉呈湖南亲友》。诗中除透露意欲返乡的愿望外，还表现了杜甫不忘国难、关切民生的悲悯胸襟。
秋末，杜甫已病入膏肓，小舟静泊于水流之上，江岸秋叶一地，江面寒雾笼罩，满目的凄凉萧瑟，仿佛在为杜甫的病危而哀叹。秋天过后，寒意更浓，杜甫抵抗不了死神的召唤，终于带着一生的愁怀和未竟的心愿，遗憾地与世长辞了。
这位伟大的诗人在冬风乍起的时节悄然病逝于湘江舟中。江面一片寂然，白雾茫茫，只听得水流呜咽和家人们的哀泣声。由于家贫无力安葬，杜甫的灵柩暂时厝在岳州，可怜这位伟大的诗人半生飘零，死后魂魄亦不得归返故土，时为代宗大历五年（770年），杜甫享年59岁。
直到43年后的宪宗元和八年（813年），杜甫的孙子杜嗣业才有能力赴岳州移柩返回偃师（今河南偃师），葬之于首阳山下杜预与杜审言的墓侧。