早上8点，英军抵达了越秀山的西侧，他们在这里架设大炮，与保极炮台和拱极炮台进行了对轰。因为没有海军协同作战，所以英军的十几门野战炮并没有引起守军的恐慌，战事显得比较焦灼，双方的轰炸持续了一个半小时，谁也没有后退。
最后由第49团袭击了炮台北侧的一个高地，而第18团迂回到了炮台的后方，占据了另外一个高地。由于清军不熟悉野战炮的作战特点，所以对高地没有进行殊死争夺。最终当三个火力点形成交叉火力之后，守军再也没有抵抗的力量，英军彻底摧毁了四方炮台，清军大溃，逃回到了城中。
英军拿下四方炮台之后，开始在这里架设大炮，与广州北城墙的炮台开始对攻。双方的距离较近，英军的野战炮，远没有巨舰大炮的威力，所以双方的对攻看起来势均力敌。但清军火炮的威力有限，英军所受的损失很小。就像英军自己描述的那样，清军的炮弹打在地上，溅了将军一身泥巴。
渐渐的，英军大炮的穿透力显现了出来，毕竟越秀山可以俯瞰整个广州，在英军持续有效的轰炸之下，所有的抵抗都显得没有意义。分歧最先从广州本地军队和外省军队之间产生。据王廷兰致曾望颜书记载，外省军队与广东军队之间发生了斗殴，接下来溃兵对逃难的百姓开始抢劫，指责逃难的百姓是汉奸。而损失最为惨重的是行商，成百上千的人在行商的家中抢夺财物，背着这些财物逃跑。各省军营相继闹饷哗变，广州城内秩序大乱，已经到了崩溃的边缘。
杨芳担心的事情终于发生了。这一次挽救广州城的，是老天爷。
从25日中午开始，老天爷下了一场倾盆大雨，交战双方的大炮都哑了火，战事被迫停顿下来。虽然在越秀山的争夺战中，英军仅仅死了九人，但在整个英军当中，瘟疫再次爆发，上千人住院。
26日中午，雨停了，广州城里摇起了白旗，广州知府余保纯临危受命，充当了和谈的使者。
义律向余保纯表示，要想让英军退兵，也不是不可以，但必须要答应六个条件。
一、广州城里所有的官员和士兵，必须退到广州城外200里的地方；
二、限一周之内，交付英军六百万元赔款；
三、赔偿焚烧商馆和先前林则徐误烧的西班牙商船的损失；
四、清方如期交付赔款，英军可以退出虎门，逾期不交，每周加收一百万元利息；
五、以上各条必须由广州城内的所有大员集体签订；
六、奕山必须亲自与英军谈判。
奕山已经没有还价的余地了，除了亲自谈判这一条，其他的，他全部允可。广州如果失守，这里所有的官员，全部都要革职拿问。只有尽快答应义律的所有要求，才能保住广州城，保住这里所有的官员。
第二天一大早，就在越秀山上的英军准备进攻广州城的时候，余保纯带来了奕山的回复。
钦命靖逆将军奕山、参赞大臣隆文、参赞大臣杨芳、广州将军阿精阿、两广总督祁贡、广东巡抚怡良联衔通知广州知府余保纯，现在英国公使愿意罢兵停战，所有一切事宜，由广州知府余保纯妥善办理，不得推拖。
余保纯同时带来的，还有作为首付款的一百万元现银。义律没有过多强调与奕山的面对面谈判，他也知道这不太可能实现。两军对垒的情况下，奕山作为主帅，绝不可能把自己置入险地。义律接受了广州高官们对余保纯的授权。
这是一个非常危险的授权，奕山并没有同意所有的条款，而是把这个黑锅直接扣在了余保纯的头上。一旦事情败露，奕山等人并不能逃脱责罚，但是余保纯却注定要被诛灭九族。
可怜的余保纯没有任何抗争的余地，因为广州城里的高官实在太多了，他谁也惹不起。在大清朝，有些黑锅必须由他来背。
和谈了，广州保住了，奕山带着所有的官员，离开了广州城，他们在离广州60里的金山寺安营扎寨。
这是一个很滑稽的现象，负责守城的将士们主动退到了城外，侵略者可以肆无忌惮地进驻广州。前来侵略的鬼子们，收到了保护费，反而负担起广州的秩序。而负责驻防的士兵们，在劫掠之后，也得以全身而退，不用卖命打仗了。
5月31日，仅仅过了四天时间，奕山就交付了六百万元，比义律的要求提前了两天。当然这些钱将集体摊派在行商的头上，官府只是提前垫付，回头还要找行商们报销的。说起对付这些商人，清政府的办法实在是太多了，不怕他们不交。
6月1日开始，英军从越秀山四方炮台一带撤出，一周之内，所有英军退出了广州，连带广州城外的虎门各炮台，也一并交还给清军，广州和平了。
最大的问题，是如何应付翘盼东南捷报的道光皇帝。奕山万般无奈之下，编造了一个华丽的谎言，他说：
自从洋人驶入内河以来，已经在广州南面排列多艘战舰，控制了广州的天险，东西两路，我军再无险要可守。北路越秀山也被洋人所占据，洋人俯瞰城中，从初五开始，我军奋力抵挡。无奈汉奸假扮水手混入我军草船附近，纵火将我军柴草焚烧过半，又从陆地抄袭我军后方，我军三面受敌，河道梗塞，文报难通。
（奕山在这里，将英军已经包围广州的实情进行了上报。）
奴才在广州城里坚守多日，由于百姓惊恐，新城居民相继逃散到老城当中，民心动摇，形势已经不堪设想。广州是省城重地，稍有差池，各地匪徒必会乘机峰起，我军若在郊外用兵，自然可以诱敌深入，但广州省城绝无弃守的道理，奴才一身责任，决定与省城共存亡。
初七这一天，省城居民纷纷请愿，叩请保全全城百姓。
（奕山隐瞒了自己退出广州的事实，但他强调了广州城内的窘境，希图用百姓来打动道光皇帝。）
据守城兵丁报，有洋人在城外招手，以手指天指心，像是有话要说。于是请来翻译，才知道这些洋人要请命。原来此次打仗，英国商人因为货物不能流通，已经负债累累，所以请奴才向皇上请命，只求追讨商欠，准许通商，他们就立即退出虎门，缴还各炮台，绝不敢再行滋扰。
（在这个杜撰的故事里，奕山强调了英军的要求，他指出英军的军事实力十分强大，战争难以取胜，但英军的要求也很低，只求恢复通商。）
奴才等通盘筹划，虎门天险已失，内河无险可凭，全城百万生灵，与其打仗胜败难测，不如准许通商，以保省城。现在广东一省，关税每年不下三百万两，如果战事持久，损失将非常浩大。奴才命余保纯妥善办理，先准英国通商，一旦军舰退出，汉奸解散，我军阻塞江面，重建炮台，增添大炮，洋人要是再敢挑衅，立即停止通商，大兵进剿。
（其实奕山已经同意了通商，他把自己面临的情况汇报给道光皇帝，实际已经指出了军事绝不可能成功，除了同意英军的要求，军事方面已无出路。）
道光皇帝终于明白了广州的情况，他终于知道，所谓的剿灭英夷，只是自己一厢情愿，实际大清朝并没有剿灭英夷的手段。道光皇帝并没有被奕山满篇的谎言误导，他已从各个渠道，得到了战事的反馈。
七省进兵也罢，巨额军费也罢，最强阵容也罢，所有的一切，竟然都换不回哪怕一次胜利。
他站在紫禁城的屋檐下，日夜企盼的捷报，永远也不可能出现了。他明明知道奕山在骗他，明明知道奕山犯了欺君之罪，但他却不能再追究奕山的责任。如果拆穿奕山的谎言，就意味着要与英军决一死战，就意味着必须重新派人前往征剿，可是重新派人的话，能取得战事的胜利吗？
他终于明白，失守广州的责任，其实是他自己的。他只能独自咽下这枚苦果。他对奕山说：
朕不跟这些洋人计较，朕相信，你一定是有不得已的苦衷。
三元里抗英
按照奕山的想法，和约签订了，赔款也已经支付了，但是洋人会退兵吗？奕山的心里一点底也没有。万一义律不守诺言，拒不退出广州城的话，那自己被斩首示众、遗臭万年、抄家灭族，都将是铁板钉钉的事。
自己竟然会去相信桀骜不驯的洋鬼子，去主动交出巨额的赔款，再领着数万军队让出广州城，此事如果传扬出去，岂不是滑天下之大稽！史书将如何记载自己的所作所为呢？
奕山对自己的命运，连想都不敢想，他这一次决策，甚至连赌博都算不上。英军已经箭在弦上，广州随时都有可能覆灭，在这种情况下，怎么能指望这些凶狠残暴的侵略者自己放下手中的武器。
可是他只能一条道走到黑，不能回头。抵抗也是城破人亡，不抵抗也是城破人亡，错也罢，对也罢，历史并没有给他第二个选择，或者，不抵抗还有一线生机。
5月28日，也就是在第二天，他紧忙发布了一则公告：
现在战争结束了，恐怕各处官兵、乡勇、水勇等人并不知情，特发布本公告：
从今日起，所有人员在各营驻防，不准外出，不准生事查拿汉奸。如果遇到洋人上岸，不许拘拿，如果胆敢违抗军令，随意抓捕洋人，按军法治罪。
奕山除了担心洋人不守诺言之外，他更怕发生意外事件。他怕乡勇们为了邀功，去制造什么暴乱，如果真发生这样的事情，自己又该如何去面对？总之在英军退出广州之前，一切都充满了变数，在这万分危急的时候，任何一点小小意外，都有可能前功尽弃。
他想的一点也没错，意外事件还真的发生了。
5月29日，由于战事已经停止，驻守在越秀山的一部分英军，撤到了城北双山寺休息，在这里，他们发现了一件有意思的东西，这个东西就是棺材。
中国人讲究叶落归根，外地人在广东过世后，会将尸体装在棺材里，运回家乡埋葬。双山寺里的这些棺材都是还没来及运走，暂时停放在寺庙里的。
英国士兵十分好奇，他们打开了棺材，想看看里面究竟藏的是什么。
对当地百姓来讲，这种行为实在无法接受，这些畜生竟然“开棺戳尸，挖人坑墓”，简直就是禽兽不如。
还有一件事，让当地百姓十分愤怒，英国陆军完成集结的时候，是5月24日，当时英军规定每人携带两天的粮食，也就是说，到了5月26日的时候，英军断粮了。
于是很多英军开始在当地征粮，据说他们也付了银元，因为与当地百姓语言不通，所以这就不能不被理解为抢劫了。英军认为自己只是强买强卖，老百姓认为这就是抢劫。
更为可恨的是，由于英军饮食习惯的原因，他们抢的不是蔬菜粮食，而是中国百姓的命根子——耕地使用的牛。
英军与清军的战争，老百姓并不关心，也没有能力去插手。但如果这些像畜生一样的鬼子，抢了百姓的生活用品，那就会激起这些百姓的愤怒。
当然事情还远不止此，更恶劣的行为发生了。
在中国的儒家传统里，奸淫妇女属于罪大恶极的一类，同样是在5月29日，这种罪大恶极的事情也发生了。英军10余人在三元里的东华里，“恣意调戏”了村民韦绍光的妻子李喜。
（由于中英文化背景不同，所谓的恣意调戏也许并不是特指强奸案，李喜也许并没有被强奸。但在10年后港督德庇时的报告里，承认了有部分印度士兵强奸过三元里的妇女。所以，虽然三元里抗英时所说的李喜案不一定发生过，强奸案却是真实存在的。）
英军这所有的暴行，激起了三元里百姓的愤慨，他们奔走相告，痛斥侵略者的禽兽行为，于是有数个地方基层社团参与了这个事件。
一个是韦绍光本人，据说韦绍光是当地会党的领袖，按现在的说法，他是黑社会的大哥大，现在他的老婆被英军调戏了，所以他率先带领会党参与抗英。