咸淳六年（1270年）九月，文天祥被免官后回到家乡。他深感人心险恶，世道污浊，决意息影林泉。他在文山修建了一所山庄，隐居于此，寄情山水。闲暇的时候，一个人闲居独坐，偶尔也跟朋友吟诗、钓鱼，日子倒也过得逍遥自在。
然而，他的内心一点也不宁静，每见落叶萧萧，凉月堕阶，忧国忧民之情就油然而生。我们可以从他留下的诗来读到他心中的抑郁不平之意，如：“桑弧未了男子事，何能局促甘囚山。昔年此日作初度，宾客如云剧欢舞……簸扬且听箕张口，丈夫壮气须冲斗。夜阑拂剑碧光寒，握手相期出云表。”
就在他隐居文山的第三年，有一个京城的朋友来看他，朋友感叹说：“天祥老弟，你还有心情在这里饮酒啊，北方的襄阳、樊城都已经失守了！”
“吕文焕不是死守襄阳城吗？”
“襄阳被围了五年多，一心盼望救兵来到，无奈久困援绝，听说吕文焕每次巡城，便向着南方痛哭不已。”
文天祥痛心疾首，问道：“现在的情形怎么样了？”
朋友告诉他，忽必烈又从四川增兵，襄、樊两城所受压力越来越大，到1272年，襄、樊粮食已基本耗尽，但两城军民依然斗志昂扬，元兵始终无法破城。
这一年，南宋大将李庭芝派张贵、张顺率3000士兵，携带城内急需物资，成功突破元兵的包围，冲进了襄阳，这是五年内第一支进入襄阳的援兵，极大鼓舞了全城军民的士气。
此后，襄阳宋军与外围的宋军取得联系，双方约好共同夹击元军。只是有叛徒向元兵投降，出卖了这个计划，致使襄阳宋军遭到元军埋伏，损失惨重，再也无力反攻。
吕文焕屡次告急于朝廷，太师贾似道表面上请皇帝派他亲自上阵，而私底下，却叫他的同党上书留他在京城，如此反反复复。
朋友说：“樊城被攻破以后，守臣范天顺殉难而死。元人运来了巨炮，炮弹重150斤，大炮发射时，震天动地，所到之处，皆为齑粉。这一炮就毁了襄阳的城楼，吕文焕无法再支撑下去，便出城投降了。”
听到这个消息，文天祥的心情非常沉重。
襄、樊失守后不久，文天祥再被起用，派为湖南的提刑使。这时候，他已经是37岁，在文山隐居了将近三年，虽是坚决请辞，但终究没有获准，只好上任了。
到了湖南以后，听说江万里先生出任荆湖南路安抚使兼知潭州，于是文天祥便前往长沙去拜见他的老师。
两人见面格外欢喜，话过家常以后，江先生语重心长地对他说：“我已经老了，看目前的情形，恐怕不久就会出大乱子。我见过的人虽然不少，但是将来能够担得起救乱重任的，只有像你这样的人了。”
文天祥一听，想起目前的危难、朝廷的混乱，以及老师的托付，不由得悲从中来，眼泪夺眶而出，哽咽地说：“我文天祥本无所长，唯有一片孤忠罢了。”
二人经过这次会面以后，江万里以年老多病辞去官职，回到饶州老家。文天祥为了便于奉养老母，也请调回江西去了。
就在他回江西赣州的这一年，元世祖忽必烈命伯颜任中书左丞相，统率各路军马，由襄阳城一路进攻下来。伯颜、阿术领一军，由襄阳入汉水过长江，以降将吕文焕为先锋。史天泽也是军中统帅，但在进军途中病死。右丞相博罗欢以及阿塔海、刘整、塔出、董文炳领另一军，自东道取扬州，以刘整为先锋。
临安城这边却在忙着替贾似道的母亲办丧事。
由西湖边的半闲堂，一直到钱塘江，一路上全扎满了素彩素花。重要的官员都赶到贾公馆陪着孝子孝孙们哭灵。出殡的那一天，虽然下着大雨，但是文武百官全恭恭敬敬站在大雨里。
这一年真是多事之秋，在位十年的宋度宗也在这一年病死，时年35岁。
太后谢道清召大臣商议立帝。众人认为杨淑妃所生赵昰年长当立，贾似道却拥立全皇后的四岁幼子赵，于是赵被立为宋恭帝，谢太后被尊为太皇太后。虽然名义上由太皇太后垂帘听政，但贾似道依然独专朝政。
京城里正忙着办不完的丧事，而湖北这边，也响起了丧钟。咸淳十年（1274年）十二月，阿术军自汉水渡江，宋将夏贵战败逃跑，鄂州都统程鹏飞投降。伯颜留四万兵守鄂州，自领大军东下，直指临安。
朝廷命大将李庭芝为淮东制置使，并加派陆秀夫做他的参议官，协同扼守淮东一线。
正月二十日，伯颜的先锋部队进到鲁港来了。
京城里的太学生们议论纷纷：“要师相贾似道出来。”群臣也上疏说道：“师相贾似道曾经在鄂州不是三路大捷吗？应该请他出来，都督天下兵马。”
贾似道不得已，在太皇太后的要求之下，只好赶鸭子上架，勉强接下了这个重任。
他率领诸路精兵13万，还有大批装载着无数金帛、器甲和给养的船只，甚至带着妻妾，轴舻衔接，绵延百余里。贾似道胆小如鼠，又贪生怕死，根本不思抗击，只是一味巴结元人，请求议和。他给元丞相伯颜送上礼品，请求割地赔款，但伯颜骂他不守信义，还扣留了使者郝经，便拒绝议和，率兵冲击。
贾似道几乎未加抵抗，就和几个属下一起乘小船逃走。南宋军队一片混乱，粮草辎重全被元军夺去，军士死伤逃亡不计其数。
太皇太后心急如焚，只叹自己命苦，最后，不得已降下一道“哀痛诏”，述说继君年幼，自己年迈，民生疾苦，国家艰危，希望各地文臣武将、豪杰义士，急王室之所急，同仇敌忾，共赴国难，朝廷将不吝赏功赐爵。
各地官员收到诏书后，响应的极少。他们中有的正准备降元，有的持观望态度，有的想抗元，但担心力量不足。多数官员都认为宋朝即将灭亡，原来的俸禄都难保了，新的爵赏怎么还会有呢？
诏书下达后，响应的只有文天祥和张世杰两人。
当时文天祥在江西赣州任知州。他是以服侍年迈的祖母和母亲为理由，由湖南调回江西的，赣州与他家乡吉州相邻。读到这份诏书后，想起国家的处境，以及王室的悲哀，他不禁痛哭失声。于是，他首先响应诏书，如火如荼地着手进行募兵、筹饷等事情。