绍兴三年至六年（公元1133~1136年）间，金军一面在川陕地区组织向南宋进攻，一面支持刘豫从中原南下攻宋。南宋军民英勇反击，取得了保卫川陕，收复襄阳、扬州之战的胜利。金朝不能取胜，只好以和议来向南宋劝降。绍兴七年（公元1137年）金朝让宋使传回愿意和议的口信，一直求和的高宗大喜过望，便于次年三月任秦桧为右相。秦桧再次为相秉政，遂使朝政日趋腐败和黑暗。
绍兴八年（公元1138年），高宗正式在临安（今杭州）建都，维持着半壁江山的统治。猜忌将帅，重用奸佞与逃跑、求和的政策密切相关，而这种政策有其深刻的历史渊源和现实原因。首先，防范武将、守内虚外是北宋立国以来世传的“家法”。自宋太祖以来宋朝诸帝对于武将一直抱有猜忌心理，他们惧怕武将在战争中发展力量，而最终造成对皇权的威胁。因此他们不敢放手让武将用兵，要时时限制或者剥夺武将的兵权，甚至在战争有利的情况下也宁愿赔款求和，而不让武将在战争中发挥更大作用。正如清代学者王夫之所说的：“宋之猜防其臣也甚矣，鉴高桥之己事，惩五代之前车，有功者必抑，有权者必夺，即至高宗，微弱已极，犹畏其臣之强盛，横加锓（qin，寝）削。”宋高宗更是把这一套祖宗“家法”发挥得淋漓尽致。
早在宋高宗倚靠诸将，应付金兵追逐之际，就暗示诸将不能拥兵自重。他为韩世忠手书《郭子仪传》，要求大将们向唐朝名将郭子仪学习。向郭子仪学什么呢？高宗认为，郭子仪虽总兵在外，功高名著，但心专朝廷，时时听从召唤。他又以郭子仪的事例告诫另一位大将张浚说：“今卿所管兵，乃朝廷兵也。若知尊朝廷如子仪，则非特身享福，子孙昌盛亦如之。若持兵权之存而轻视朝廷，有命不即禀，非特子孙不飨福，身亦有不测之祸，卿宜戒之。”这是在警告诸将，必须谨遵朝廷之命，否则不但身有不测，还祸及子孙。
之所以要限制诸将，还有一个重要的现实原因，就是宋高宗对主战派将领们恢复中原，迎回徽、钦二帝的主张极其反感，他怕钦宗回来夺了他的帝位。个中原委当然高宗不便明言，但他的实际行动却很能说明问题。还在建炎元年时，太学生陈东、欧阳澈因上书请求高宗亲征北伐，迎回徽、钦二帝，就被高宗斩首。高宗即位后，虽然口头上也说要迎回“二圣”，但实际上经过“和议”的反复交涉，最后只是迎回徽宗的梓宫和韦后，而让钦宗客死异国。在抗击金兵的战争中，高宗更是对将帅严加控制，生怕他们“张皇事势”，“却致引惹”，而甘愿放弃胜利成果，与金议和。
既然以偷安东南为既定国策，那么向金朝屈辱妥协就是必然的了。高宗自即位以来，谋求与金议和便是他一直努力的目标。而金朝也看透了这一点，在武力暂时还不能吞灭南宋时，便“以和议佐攻战”，向高宗诱降，以求攫取更大的利益。绍兴七年（公元1137年），金熙宗觉得利用“伪齐”刘豫的力量夹攻南宋已无多大收效，便废掉“伪齐”，准备以刘豫统治的河南、陕西地区交给南宋，而让宋高宗像刘豫那样向金朝称臣，贡纳岁币。高宗得报，欣喜万分，他不顾主战派将领和群臣的反对，以“南北军民十余年间不得休息，欲屈己求和”为借口，让秦桧代表他接受和议：金朝把河南、陕西“赐予”南宋，南宋向金朝称臣，并每年向金朝贡银二十五万两、绢二十五万匹。
绍兴八年（公元1138年）五月，金使来南宋商谈和议的条件，要宋高宗取消皇帝的称号和国号，向金朝称臣纳贡。高宗以接回徽宗梓宫和生母为借口，有意求和。秦桧迎合高宗之意，说：“屈己议和，此人主之孝也。”劝高宗接受金人的条件，达成和议。宋使王伦要到金朝商议地界，秦桧认为，只要金人许和，地界划在哪里都可以。为了避开主战派的反对，秦桧将反对议和的左相赵鼎排挤出朝，而他则大权独揽。十月，他又对高宗说，臣僚畏头畏尾，不足以断大事，如要讲和成功，“乞专与臣议，勿许群臣预”。高宗完全同意，于是秦桧出文字乞决和议。
金使到南宋签订和约，他们要求金帝的诏谕到达宋境时，南宋“接伴官”要跪接；所过州县，当地官员也须拜迎；宋帝要改穿大臣服装跪受诏书，对金使要以客礼相待。高宗、秦桧决定遵守对方的种种要求，签订屈辱和约。消息传出，引起朝野强烈反对。直学士曾开三次质问秦桧，并以伦理纲常相劝，秦桧大怒说：“难道就你明白，我就不知吗？”执意签约。吏部员外郎许忻上疏反对和约，极言屈己议和“徒受莫大之辱，贻万世之讥”，秦桧将奏疏扣下不报。枢密副使王庶上书七次，面见高宗六次要求停止议和，却被秦桧降职，出为潭州知府。此后，又有权吏部尚书张焘、御史方廷实等二十几位官员先后上疏抗议对金使行屈己之礼，反对和议，要求切责秦相公之罪，言辞激烈，高宗以“朕不忍闻”为托辞，躲避群臣上诉，秦桧则又不断将反对他的大臣贬职赶往外地。十一月，枢密院编修官胡铨上疏，表示“臣有赴东海而死尔，宁能处小朝廷求活耶”！奏请斩秦桧、王伦以谢天下。胡铨的议论获得朝野广泛支持，民间把他的奏疏刻版传诵，流布四方。秦桧惊怒交加，立即将胡铨罢官，流放昭州（今广西平乐县），又把同情胡铨的官员贬职、流放，朝官陈刚中被贬至赣州安远，迫害至死。
此时，领兵在外的将帅也纷纷上书，拒和请战。岳飞指责秦桧“谋国不臧”，指出“金人不可信，和好不可恃”；韩世忠奏请出兵决战，拒绝议和；张浚连续五次上书，反对屈辱的和约。但无论文武将臣抗议的声势如何高涨，都不能动摇高宗、秦桧的议和决心。十二月，秦桧派人以最高礼仪将两名“诏谕江南”的金使迎到宰相府中下榻。然后，他又劝高宗按金使要求，跪接金朝诏书。高宗虽然觉得当朝跪在金使面前，未免过于丢脸，但又深怕得罪金人。最后，秦桧以高宗守丧为借口，代替高宗跪接“诏书”，迫不及待地与金人签订了屈己称臣、岁贡绢币的和议。
宋金和议后，高宗、秦桧大肆宣传和议的成功，秦桧更是得意洋洋，分派官员到金国报聘、割地，到各地宣谕和议。然而和议仅过一年，金军于绍兴十年（公元1140年）五月，以宗弼为元帅，分兵四路大举南下。但是，金兵再次碰到南宋军民的顽强抵抗。同年，岳飞在郾城大败金兵主力，先锋部队克复了郑州、洛阳，并得到黄河以北忠义民兵的响应，准备收复河南全境。
在军民抗金的大好形势下，宋高宗却屈辱妥协。但金人并不满足，和议后仅一年，金兵又撕毁和议，再次挥兵南下。金兵的南下遭到岳飞等抗金力量的沉重打击，无功而返。然而，高宗无视军民的抗金胜利，伙同秦桧继续向金朝求和，并收回三大帅兵权，将岳飞逮捕下狱，以向金人表示议和的决心。
秦桧见岳飞连连得胜，怕岳飞功成名就，形成北伐大势，坏了他主和议的前程，于是他急令东路的张浚、杨沂中等军撤回，又以“孤军不可久留”为由命岳飞退兵。岳飞上书力争乘胜追击，秦桧不理，他借高宗名义，一天之内给岳飞发去十二道金牌，勒令班师。岳飞只好忍痛回师。金兵败去，秦桧又开始做向金人求和的准备。绍兴十一年（公元1141年），高宗、秦桧准备进一步向金朝投降，于是在四月间召张浚、韩世忠、岳飞进京，一举收回三大帅在外的兵权。以向金朝表示不战求和的诚意。金帅宗弼退兵后，曾派人致书秦桧，警告他说：“必杀岳飞而后可和。”秦桧也忌岳飞素以恢复为己任，作梗和议，决意谋杀岳飞。他先唆使党羽、右谏议大夫万俟楔上章弹劾岳飞，岳飞被罢官出朝。随后他又伙同张浚收买副统制王俊，诬告岳飞父子及部将张宪谋反，遂将数人逮捕下狱。年底，高宗等人为了除去心头之患、向金人献媚，又将岳飞父子杀害。明代文士文徵明为岳飞庙作《满江红》词曰：“岂不惜，中原蹙；岂不惜，徽钦辱。但徽钦既返，此身何属？千载休谈南渡错，当时自怕中原复！”
绍兴八年（公元1138年）十二月，李光任左中大夫、参知政事。此时主战与主和又成了朝中上下臣僚争斗不休的话题。奸臣秦桧是主和派的首要人物。秦桧开始定和议计策时，因为李光在臣僚中有影响，欲借他的名望抬高“和议”的分量，皇上本意不想用李光，秦桧说：“李光有名望，如果一起签名，没有根据的议论会自动停息。”便在和议榜上也署了他的名字。此举立即在主战派臣僚中掀起轩然大波。李光的同乡杨炜写信骂他“附时相取尊官，堕黠虏奸计，堕平时大节”。意思是说“依附宰相谋取高官，陷入狡敌的奸计，毁掉了平日的气节”。其实李光的本意是想借此为“缓兵之计”，以和议争取时间，重整南宋国威。在秦桧要与金兵议和，放松对淮河地区的防御，收回前线将领的兵权时，李光敢于直谏力求抗金，向高宗进言说：“对狼子野心的戎狄，只能战，不能和，淮南守备更不可撤。谁再言和，谁就是卖国贼。”秦桧听后恼羞成怒，随即反击李光之言，李光直指秦桧，冒死抗争，他说：“你不顾大家反对，多次单独主张求和，今天还要撤回守备，这不是盗弄国权，怀奸卖国，又是什么？”此言一出，秦桧脸红耳赤，此时他故伎重演，将朝服一脱，朝冠一摘，向高宗哭诉道：“皇天在上，请皇上为臣作主，让臣挂冠而去，免得遭人陷害！”说罢叩头不止。第二天，李光请求罢职。高宗说：“你昨天当面斥责秦桧，举动像古人。我退朝后叹息，正要将你当作心腹大臣，为什么要辞职呢？”李光说：“我与宰相争论，不可留任。”九次上章请求，于是被授任资政殿学士、知绍兴府，改任提举临安府洞霄宫。为此秦桧认为李光与他作对，十分嫉恨，高宗被他蒙骗，下令将李光革职回乡。
绍兴十一年（公元1141年）冬，秦桧死党御史中丞万俟楔诬告李光暗中心怀不满，怨恨皇帝。贬职为建宁府节度副使，安置在藤州（今广西藤县）。这一年，正是秦桧以“莫须有”的罪名杀害岳飞的时节，看来李光也是因“莫须有”之罪被贬。绍兴十四年（公元1144年），秦桧死党吕愿中诬告李光与胡铨等诗赋唱和，讥讽朝廷，又被转至流放海南琼州（今海南琼山市）。
李光从宋高宗即位到被贬海南，相当长的时间在地方任职。在此期间，李光抗金主张如旧，安定地方，积极备战，政绩卓著。
高宗即帝位不久，就提升李光为秘书少监，授任江州知州；不久，升任侍御史，都因为道路梗阻没有赴任。建炎三年（公元1129年），皇帝车驾从临安移跸建康，授他为宣州知州。当时范琼将率军经过，李光先行入州城处理政事，范琼到了就开城门引入慰劳，留住三天后离去，无人敢喧哗。李光认为宣州离行都最近，于是修缮城池，积聚军粮，把所属六县百姓编册，按保伍分编，称为义社。选择其中健壮勇武者，以乡里的豪强、豪绅为统帅，得到一万多人，号称“精拣军”。又在二十三处险要之地设立兵营谨慎戍守，把全城分为十个地区，分别巡逻内外，白天自由行动，晚上守城，有敌情就参战。苗租按年交县的，都送到州里。起初人们纷纷指责不方便，到守城时，赡养军民，终于靠此获得成功。李光的事迹传到朝廷，被任命为管内安抚，允许他见机行事，晋升为直龙图阁。