杜充以建康降敌，金兵夺取马家渡。御营统制王王燮、王珉素来不和，到这时，率领溃兵在城外扎营互斗。李光亲自到二人兵营，劝说他们先国家后私仇之义，二人感悟和解离去。当时逃将、散卒到宣州的，李光都送给很多财物。有水兵在繁昌叛乱，逼近宣州境，李光立即派兵援击，出敌不意，敌人于是连夜逃走。升任右文殿修撰。李光上言说：“金兵虽然深入江、逝，但是违背天时地利，我已送文书让刘光世率领大军到宣州，合力攻讨金兵。请迅速委托宣抚使周望，约定日期水陆并进”。
溃将邵青从真州率数百艘舰船，在当涂、芜湖两县之间剽掠，李光招抚劝说他，送给他二千斛大米。邵青非常高兴，对使臣说：“我们是官军，所到之地都把我们当盗贼对待，只有李公不怀疑我。”于是秋毫无犯。后来，船队经过繁昌，有人骗他锐：“这是宣州境内。”于是沿北岸离去。
大盗戚方攻破宁国县，抵达城下，分兵四面围攻。李光招募勇敢之士劫营，贼兵惊扰，以致自相残杀。朝廷派统制官巨师古、刘晏兼程来援。敌人急攻朝京门，把竹木编起来当浮桥渡过护城河。一会儿，敌军爬上城墙，把大炮架在石对楼上。李光下令把竹子编成帘状迎着炮弹，炮弹打来就翻落在地下，不能伤人。取巨木作撞竿，靠女墙抵御对楼，敌人退走。刘晏率领赤心队直捣敌营，敌人假装败退，刘晏追击他们，中了埋伏遇害。巨师古率领中军大败敌人，敌人逃走。当初，戚方围攻宣州城，与他的副将并马巡城，商量攻城计划。李光把信绑在箭上射到他的副将马前，说：“戚方是穷途末路之寇，上天必然诛杀他，你是将门之子，岂能依附盗贼。”致使二人互相怀疑，攻势稍缓，才得到时间作战斗准备，接着援军到了。他曾经把匕首放在枕匣中，与家人相约道：“城不一定能保住，如果让人来取匕首，我一定会死。你们应自杀，不要落到盗贼手中。”朝廷授任他为徽猷阁待制、知临安府。
绍兴元年（公元1131年）正月，任洪州知州，他坚决辞谢，任提举临安府洞霄宫。任婺州知州，刚到任，提升为吏部侍郎。李光上疏极力指责朋党的危害说：“议谏大臣，各人怀有避讳顾虑之意，不肯把扶助国家危难、治理国家作为己任。行都在会稽，前后历时三载。从去年秋天到现在，敌人不再有南渡之意，淮河近在咫尺，一点也不着意经营，长江千里，不设防备敌，每天惴惴不安，只是谋划避敌漂浮大海之计。晋元帝区区草创，还能建立国家，修建宫殿，保有江、浙。刘琨、祖逖与逆胡在并、冀、兖、豫、司、雍诸州抵抗作战，这些地方从未陷落。石季龙的重兵已到历阳，晋元帝任命王导都督中外诸军以抗御敌人，没有听过专门躲避胡狄像今天这样的。陛下驾临会稽，江、浙是根据地；能够进足以战、退足以守的地方，莫如建康。建康到姑熟一百八十里，其中险要可守之地有六处：江宁镇、冈砂夹、采石、大信，上游则有芜湖、繁昌，都与淮南相对。其余都是芦苇荆条之地，有的是曲折的堤岸，水势湍急，难于行走舟船。不如预先在各险要之地屯兵积粮，命令将士分管各地，调拨临近乡兵，协力守御。请求明诏命令大臣，斟酌实行。”
当时有诏令，金兵攻入，各地守臣互相商量，或守或避，诏令说可以自便。李光上言：“守臣担负人民、国家的重任，应当与国家和人民共存亡。如果预先开启退却逃避之门，是引诱他们逃跑，希望追回前命。”皇上打算迁都临安，李光奉命指挥临安府驻扎诸军，兼任户部侍郎、督营缮之事。李光节省经营，不打扰百姓就办好了此事。奏请减免二浙历年积欠及九县另加的赋税，以表示实施德政亲近百姓之意。
戚方以管军隶属于李光指挥，非常恐惧，跪拜在廷下。李光握着他的手扶起他说：“你过去做盗贼，我任郡守，抓捕你是我分内的事；现在都是臣子，应当共同勉励忠义，不要以先前的事疑虑。”戚方感动哭泣。李光兼任侍读，于是上言说：“金兵侵犯内地，百姓失去谋生之业为强盗，本来出于不得已，还可以用诚意感召他们。自从李成逃到北方，群盗离心，如果此时选用一两个盗贼首领，以教化激励他们的同党，一定会互相钦慕，相继归降。”又升任为吏部尚书。
大将韩世清本是苗傅余党，长期驻兵宣城，擅自占据仓库，不听征调。李光请求先行除掉他，于是任命李光为淮西招抚使。李光借道到宣城，韩世清前来相见，李光把他捆送到朝廷服罪处死。当初，李光在皇上面前陈述已定的计划，宰相没有事先知道，惹怒了他。他还未到任，途中任命他为端明殿学士、江东安抚大使、知建康府、寿春滁濠庐和无为宣抚使。当时太平州士卒陆德囚禁当地守臣据城叛乱，李光多方设计，全部捉获叛贼。
秦桧被罢相后，吕颐浩、朱胜非共同任宰相，李光历来与他们政见不合。谏官指斥他为秦桧同党，被夺职为宫观官。不久复任宝文阁待制、知湖州，授显谟阁直学士，改任平江太守，授礼部尚书。李光上言说：“自古创业由衰而兴，一定有所依靠才能兴起。汉高祖依靠关中，汉光武帝依靠河内，皇上驻扎东南，两浙难道不是天下的根本可依恃之地吗？从冬天到春天，雨雪不停，百姓失业，请求选择谏官考察实情予以报告。加之连年福建、湖南盗贼作乱，范汝为、杨么相继而起，朝廷派大军诛讨、杀戮过当。现在各地旱荒，流丐满路，盗贼出入。应选择良吏招怀抚纳，责令各地监司惩治贪赃，抚恤饥民。”
刘光世、张浚从前线接连传来捷报。李光说：“观察金兵部署，一定有阴谋。现在我方已占据东南形势，敌人万里来袭，利于速战，应当戒令诸将持重而拖延消耗敌人。不过数月，敌人粮食耗尽，则胜券操在我方手里。”授任江西安抚、知洪州兼制置大使，升任吏部尚书。过了一月，任参知政事。
李光在地方任职，先后历经江西、安徽、浙江三地的数个州，其政绩得到了朝廷和地方百姓的充分肯定，显示了一个干员的英雄本色。
李光在琼的贬谪生涯可以说是“荣辱不惊”，泰然处之。在谪琼居儋州（今海南儋州市），他时时以苏东坡为榜样，以诗书自娱，论文考史，安之若素。其间，他的次子李仲坚被诬“私撰国史”下狱，可以说是祸不单行，但他不为所动，以八十高龄之身等闲视之，坚守晚节。他在儋州期间，还积极参与当地的文化建设，曾应儋州太守陈适之请，撰写《迁建儋州学记》，表明自己“余方老病，久废笔砚，既辞不获，因书大略如此，上以奉朝廷教育之意，下以慰学者乐育之心”的喜悦。在十余年的谪居生涯中，他还写了许多反映海南风物的诗篇，流传后世。其中如“逐客新年偶叹嗟，海南风物异中华”，“富国应先除国蠹，利民须急去民蟊”，“潮回齐唱发船歌，杳渺风帆去若梭。可是胸中未豪壮，更来沧海看鲸波”，“堆盘荔子如冰雪，惟此堪将北地夸”，“牢落双泉一病翁，十年忧患扫还空。荷稀竹密宜秋雨，户窄檐低耐飓风。尽日抄书北窗下，有时闲步小桥东。谁知万水千山外，亦有乡居兴味同”，等等，都如实地反映了当时诗人的志节与琼岛的风貌，使后人景仰万千。
《宋史》记载他贬谪期间，“论文考史，怡然自适，年逾八十，笔力雄健。”还写诗词四百余首。《四库全书总目》评论他的诗“志谐音雅，婉丽多姿，大抵多托兴深长”，不独清绝可爱，书法亦好。谪琼期间，题匾额、楹联，遗有不少笔迹。著有《庄简集》十八卷及《读易评说》。
时至今日，在海南“五公祠”中，人们为了纪念谪琼期间李光为当地作出的贡献，雕有其像。明代学者、诗人王桐乡在组诗《海外五逐客》中恰如其分地反映了当地人民对李光的敬仰之情：
五十三家祸未消，何人海外得逍遥。
皇天后土犹堪倚，明月消风不费邀。
但看琼岛一身在，莫愁图书万卷烧。
千古牧羊亭下士，好还天道不曾饶。
这首诗通过对李光惨遭奸臣秦桧迫害的历史事实的描述，表达了诗人对李光的同情，对奸贼的愤懑，以对照烘托的手法，忠奸形象鲜明，使读者更增进了对忠臣李光的敬仰。如今，“五公祠”已成为海南重要的旅游景点，成为万千旅客海南之旅的必选之地。
公元1153年，贬居海南期间，李光写下《赠裴道人》一诗：
道人今年七十六，问我修行惟绝欲。密栽涩勒当疏篱，旋辟荒榛结茅屋。不抄书，不看读，宴坐凝然常瞑目。夜深频咽玉池泉，晨起随缘饱菹粥。甘脆肥浓腐我肠，巧笑蛾眉真鸩毒。蛮烟瘴雾隘空虚，谨守药炉谁敢触？我爱裴君道机熟，过我玄谈已超俗。三峰顶上少人行，百尺竿头防失足。世人那识天地根？往来绵绵无断续。嗟予流转海南村，智者方明祸中福。君不见，庞道蕴尽将活计，沈湘江，自织笊篱供口腹？又不见，成都市上严君平，终日垂帘唯卖卜·王侯蝼蚁同丘墟，学道从来贵幽独。蚌生珠，石含玉，看我丹成跨鸿鹄。马蹄去去稳着鞭，关山路远多坑谷。
时作者在昌化军（今海南省儋州市）。作品既然是赠送裴道人的，于其中叙及彼此之交往，这是很自然的事。其中，作品也浸透着诗人的生活体验。他遭贬，到了海南，这从表面看起来似乎是“祸”；然而，祸福相生，诗人把遭贬边疆的事当作锤炼意志的机遇。在逆境中，他通过“胎息”的修持，更使正直的“浩然之气”得到培养。“蚌生珠，石含玉”。珠玉即是被作为“道真”的玄珠，又是爱国情感的寄托。你看诗人把那些卖国求荣的“王侯”视如“蝼蚁”，而希望自己保存住代表正直的“珠玉”。等到炼就大丹，他就跃马扬鞭，奔赴疆场，为夺回国土而效力。这正是蕴含于诗歌最深层次的爱国正气。
李光在《论百姓失业札子》一文中指出：“臣闻尧舜在上，天下无穷人；文王之民，无冻馁者。盖国以民为本，而民以食为天。自古贤圣之君，莫不贵农重谷以裕天下。一夫不耕，或受之饥；一女不织，或受之寒。饥寒并至而能不为奸邪者鲜矣。仰惟陛下，临御海寓，躬修节俭，以安百姓，涵养生息，如天地之无不覆载，雨露之无不润泽。”这充分体现了他的爱民情怀；而对于当时许多“奉承之吏”，李光则给予尖锐的揭露，说他们“贪残苛暴，公肆掊敛”，这真是一语中的，体现了不畏强暴的气概。其实，如果我们翻阅一下李光那些咏叹时事的诗篇，就能体会到他爱民、爱国的拳拳赤子之心。
他在《可叹》一诗中写道：“金陵失守何忽忽，敌兵烧我天子宫。守臣顶香率父老，开门罗拜惟鞠躬。翠莲遥遥遵海道，汉家诏令不得通。外交内应俦与邺，所在州县皆望风。”对于金陵失守、望风披靡的失败情景，李光深感悲痛。遂寓情于文，一抒爱国但不得志，忧国但又无力改变现状的悲痛、郁闷之情。
又过了三年，才因为郊祭之恩，复官授左朝奉大夫，任其自便居住。到江州去世。
隆兴元年（公元1163年），宋孝宗赵眘登基后，为李光发布“复官诰”，宣布李光是无罪被诬陷，追复李光为参知政事，又复资政殿学士职，赠谥号“庄简”，同时还御书敕赞李光：“儒林仪表，国家栋梁，风雪翰墨，锦绣文章，驱长虹于寥廓，听鸣凤于高岗。”宋理宗赵昀于淳祐二年（公元1242年）二月二日敕赞参知政事李光：“忠厚之气，性情之真，谦和持己，仁爱及民，忤权奸而不能尽其素志，老泉石而终不渝，其赤心也欤。”这是对李光一生的评价。另外还有陆游撰写庄简公家书跋，朱熹撰写庄简公传志合录，司马光、韩世忠、欧阳修等名人也为李光家族撰写了传记。陆游在跋中写道：“李光罢相归乡里，不为秦桧所容，那年我已二十岁了，他常来我家访问先父商谈终日，每当提到秦桧时，他必说隐语‘咸阳’，愤切慷慨形于辞色……”
一代爱国名臣李光，由于他才华出众但又直言敢谏，使得皇帝既想重用又不敢器重他，经受三次拜相三次被罢免的三起三落，最终因得罪奸臣秦桧险些被杀，流放海南十余年，秦桧死后又官复相当于副宰相参知政事，所表现出来的不畏权贵、不惧丢官、大义凛然的高风亮节，为后人所赞颂。