旅顺被日军占领后，俄国仍力图挽回败局，日本争取尽快取胜。战争进入第二阶段。日俄战争第二阶段，发生了两场大战，一是奉天（沈阳）会战（1905年3～10月），另一个是对马海战。这两次失败之后，俄国最终获胜的希望更加渺茫了。
1904年，海军少将罗日捷斯特文斯基（后来航行途中升为中将）受命组织和指挥一支舰队去加强远东兵力，并恰如其分地命名这支舰队为太平洋第二分舰队。10月16日太平洋第二分舰队离开利巴港，驶向波罗的海，开始漫长苦难的航程，走向毁灭的灾难。
罗日捷斯特文斯基并不像当时多数俄国将领那样是个平庸无能之辈，他在俄土战争中立有战功，诚实又具有不屈不挠的意志，勤奋而又铁面无私，但态度生硬，脾气暴躁，因而难以得到自己部下的爱戴。现在，他所领受的任务是率领这支舰队，航行18000海里，同旅顺的分舰队会合一起重新取得制海权，改变战争局面。
即使是最好的舰队要完成这样的任务也几乎是不可能的，更何况还存在着许多难以想象的困难。航程太长，生活条件极差，再加上士兵们毫无斗志。高级军官中不少是脑满肠肥的草包，有的不适宜热带航行而身染重病，第二分队司令海军少将弗尔克萨姆死于航行途中，可知这支舰队临战是一种什么状况了。列宁曾恰如其分地把这支舰队描写成：“像整个俄罗斯帝国那样庞大，那样笨重、荒唐、无力、怪诞。”1905年2月18且沙皇政府派出由海军少将涅鲍加托夫率领的第三分队增援远东，两支力量在5月9日在越南万丰湾会合。
俄国舰队东调过程中，日本舰队进行充分、有效的迎战准备。首先，早在占领旅顺之后立即对舰艇进行维修和保养，给水兵休假，养精蓄锐。
日饿两支舰队之间，各种优势，有形的与无形的均在日本方面。虽然双方各有12艘主力舰，但整个舰队总吨位日本超过俄国，仅平均航速就高出两节多。火力也占优势，每分钟日舰可发射炮弹360发，总重量21949千克，俄舰队发射134发，8190千克，而且日本人炮弹所用初濑炸药爆炸力比俄国人的要猛烈得多，破坏力大得多。日本舰只的状况、性能也比俄国人的要好得多，如同舰经过检修和重新装备，便可达到一定航速，俄国舰只经过18000海里的磨损，严重超载，远不能达到规定的航速。
日本在巡洋舰和鱼雷快艇方面居于压倒优势，前者双方是16：8，后者是69：9，日本人在自己基地附近作战，不受辅助舰的牵累，俄国人则受后勤船只拖累，影响战斗行动。
更重要的是日本舰队训练有素，以逸待劳，士气旺盛，俄国舰队长途跋涉，士气低落。
日本联合舰队司令东乡平八郎，根据俄舰队供应情况，司令官的性格推断，俄国舰队将直穿对马海峡奔向海参崴，于5月20日下令全舰进入战位。5月25日俄国舰队从台湾附近出发，26日到达上海附近，然后继续缓慢向北推进，没有派出快速巡洋舰去侦察，便于5月27日清晨进入对马海峡，陷入敌人的伏击圈。
5月27日清晨4时45分，日本辅助巡洋舰“信浓丸号”拍发“发现敌舰队”信号，5时5分，东乡平八郎命令全军出击，一个小时后，开始尾随敌舰，随后双方开始接近，但在相当长的时间内在射程之外，11时15分时双方轻型兵力之间有时交火，因为距离远，双方都没有击中。11时30分，罗日捷斯特文斯基，下令暂停射击，开始改变队形以利战斗，命令第一和第二分队把速度增加到11节，行驶到另一个纵队的前面。由于他没有同时命令另一纵队相应减速，队形一时大乱，两纵列相互拥挤。下午1时30分，俄舰尚未能排除混乱并形成单列纵队，日俄敌对双方相距已十海里远。1时55分，东乡平八郎发出“皇国兴亡在此一战，各员奋力努力”信号，下午2时5分，进行敌前大转向，力图抢占有利攻击阵位。罗日捷斯特文斯基急令旗舰“苏沃罗夫公爵号”开火（下午2时8分），下午2时11分日旗舰“三笠号”在完成大转向后开炮射击，双方主力舰在相距6000米距离内全面开始炮击，战斗全面展开。
日本人用16分钟完成反方向行进后，渐次采用抢占T字横头的战术穿过俄国舰队，一齐向俄国先头舰船攻击。在随后的战斗中，日舰队利用其速度上的优势，曾反复使用这种战术。在最初十几分钟内，慌乱的俄国舰队仍然向正在转向的日本舰队发起了猛烈的炮击，打伤了日本两艘装甲巡洋舰“出云号”和“浅问号”。
但俄国人并没有能巩固和扩大最初战果。当日本人完成战术机动后，便逐渐开始占据上风。日本的巡洋舰和驱逐舰小分队绕到俄国舰队的尾后去攻击他们的巡洋舰和辅助舰，其主力舰向前进逼，把射距缩短为不到一海里，集中火力轰击俄国先头舰队。日本人的较高的射击速度和准确性以及烈性炸药炮弹的巨大破坏力很快产生效果。罗日捷斯特文斯基的旗舰“苏沃洛夫号”，在战斗一开始，便中弹累累，在下午2时30分，船舵被打坏，失去控制，约三时，罗日捷斯特文斯基受伤多处不省人事，“苏沃洛夫号”全部上层结构被轰成一堆废物，被迫向东北方向摇摇晃晃开去。
同时，第二分队名义上的旗舰“奥斯利亚比亚号”（因其司令海军少将已死）受重创，后来其舰首吃水线上被打开了一个大口子，海水涌了进来，船头下沉，约在3时30分沉没。
900名官兵中约330名被驱逐舰从水中救出，其四处漂浮的破碎残物中还有弗尔克萨姆海军少将的密封的棺材。
此后，俄国第一、第二分队的战列舰“亚历山大三世号”，“博罗季诺号”，“鹰号”和“西索伊维利基号”也先后受重伤。
与此同时，两支舰队的巡洋舰之间的战斗也在进行。巡洋舰之间的战斗约在下午2时45分开始，主要是在日本第三、第四分队与俄国第一巡洋舰分队和辅助舰只之间进行的，偶尔也有双方的装甲巡洋舰只参加进来。
日本的第五、第六分队，俄国的第二巡洋舰分队没有参战。战斗中，日本三艘巡洋舰受重伤，其中一艘不得不返回港口。俄国的辅助舰被打得四处逃散，其中几艘起火焚毁。
至下午四时，战斗已进行近两个小时，俄国败局的迹象已经比较明显，战列舰中的两艘旗舰一艘沉没，一艘失去作用，其余大部分受损，通往海参崴的航道已被封锁，殿后的巡洋舰和辅助舰只陷入惊慌失措的混乱之中。日舰虽多次被击中，但基本保持开战时那样的完好状况。从四时至天黑前七时左右这段时间内，因交战双方的舰队在烟雾弥漫中常常失去接触，路线混乱，出现了混战场面。但基本在轻型兵力与轻型兵力，战列舰（包括新型装甲巡洋舰）与战列舰之间进行。
4时45分，日本的第五、第六分队投入战斗，向俄国轻巡洋舰发起进攻。不久，“斯维特拉娜号”即沉没。另一艘“顿斯科伊”虽又旧又慢，但英勇抗击了日本六艘巡洋舰的攻击，并击伤其两艘“浪速号”和“音羽号”，后为避免被俘或投降于29日由自己船员在海岸附近凿沉。
“奥列格号”、“阿芙乐尔号”，“珍珠号”，两艘驱逐舰和三艘军需船，企图向北突围未遂，便驶往菲律宾。这些舰只在那里被解除武装后，扣留到战争结束。失去巡洋舰保护的俄国辅助舰大都沉没或被俘。两艘医院船被俘，拖船“俄罗斯人号”，“乌拉尔号”，“勘察加号”，“伊尔季什号”沉没。
双方主力舰在下午4时45分，5时30分曾两次相遇。这时俄国舰只已受到重创，射击又慢又不准，再次受到严重打击。三艘战列舰在下午七时后相继沉没。千疮百孔的“亚历山大三世号”逐渐倾覆，下午七时沉没，船员无一幸存。十分钟后“博罗季诺号”两次猛烈爆炸，当即下沉，仅一人幸免于死。漂游的旗舰“苏沃洛夫号”仍受到攻击，俄驱逐舰“狂暴号”靠近旗舰冒着很大危险把伤员运走，其中包括身受重伤不省人事的捷斯特文斯基。7时20分，日本鱼雷快艇发出3～4枚鱼雷将“苏沃洛夫号”最终击沉。
7时30分一8时，日本所有重型舰只撤出战场，准备用驱逐舰和鱼雷艇发起夜间攻击，整个白天战斗结束。
在整个白天战斗中，俄国舰队已遭惨败，俄国12艘主力舰中，仅七艘幸存，但都丧失作战能力，还有三艘轻巡洋舰和几艘驱逐舰。日本舰队也被击中多次，但没有损失一只舰艇，仅小巡洋舰“笠置号”丧失作战能力驶回港口。
27日晚7时30分至28日凌晨五时，日本用21艘驱逐舰，37艘鱼雷快艇向俄国舰队残部发起鱼雷攻击。这些小型舰艇大部分白天停泊在港内，直到夜间才出动。俄第三分队部曾接受反鱼雷进攻训练，因而大部分保存下来，原俄国第二分队的舰只则大部分被摧毁。“西索伊维利基号…’，“纳希莫夫号”，“纳瓦林号”在夜间被鱼雷击沉。旧装甲巡洋舰“莫诺马赫号”在中了一枚鱼雷，船头炸毁后仍设法击沉了向自己发射鱼雷的那艘鱼雷艇，最后终因受伤严重，于凌晨五时由自己的船员凿沉。日本的损失是三艘鱼雷快艇沉没，五艘受伤。
28日凌晨五时至下午一时左右是对马海战的最后阶段，在这个阶段中俄国舰队残余部分最后被日本人完全歼灭。五时以后，俄国的剩余舰只继续缓慢地朝海参崴方向驶去，但在九时再次被日本舰队包围，日本人审慎地保持着一个安全距离，同时用更有力的大炮进行射击。担任俄国舰队指挥的涅鲍加托夫海军少将决定投降。
10时53分“尼古拉一世号”（涅鲍加托夫旗舰）“阿普拉克辛号”，“谢尼亚文号”和“鹰号”向日本投降，下午一时左右，涅鲍加托夫在东乡的旗舰“三笠号”上签署了投降书。但当一批日本战胜者登上“鹰号”时，有几个俄国水兵想打开船底阀门把船沉掉，结果被日本兵所枪杀。载有罗日捷斯特文斯基将军的“大胆号”也投降了（原“狂暴号”上因收留人员太多，“大胆号”只好把罗日捷斯特文斯基从“狂暴号”上接了过来）。
但其余舰艇或进行了顽强抵抗后被击沉或逃走。轻巡洋舰“乌沙科夫号”在被击沉前一直打得很漂亮，“斯维特拉娜号”也在交战时沉没，驱逐舰“严厉号”击毁一艘日本驱逐舰，然后用仅剩的燃料驶往阿斯科夫德岛。
驱逐舰“格罗姆基号”与三艘日本鱼雷快艇进行了一场决斗，击毁了两艘，后因军火耗尽而被击沉。巡洋舰“绿宝石号”在逃往海参崴途中触礁搁浅，被船员自己炸沉。有几艘驱逐舰和辅助舰分别逃往上海、马达加斯加、马尼拉等中立国港口，最后逃到海参崴的只有一艘巡洋舰“金刚石号”和两艘驱逐舰。
日本取得了绝对胜利，俄国太平洋第二、第三分舰队几乎全军覆没，除逃回俄国的三艘舰艇外，其余或沉没或被俘或被扣，包括辅助舰在内，俄国共损失了20多万吨，比第一次世界大战中最大的一次海战日德兰海战中交战双方损失总和还要多。12艘俄国主力舰中，八艘沉没，四艘被俘，八艘巡洋舰中，三艘被击沉或凿沉，一艘遇难，三艘被扣，仅一般到达海参崴；辅助舰有五艘被击沉，两艘被俘，一艘逃走，4830人死亡，受伤人数不详，5917人被俘，1862人被外国港口扣留。日本只损失三艘鱼雷快艇，死117人，伤587人。
对马海战之后，俄国再也不能派出海军力量争夺制海权，靠海军挽回失败已成泡影。但本土尚有强大兵力，将校损失不大，尚有反击能力，日本虽在海上取得绝对胜利，但其兵力告罄，军官损失过多，也很难继续扩大、巩固战果。此时英美等国也不愿日本过于强大，更不愿日本独霸远东。结束战争的时机已经到来。5月31日日本政府训令驻美公使请求美国总统西奥多罗斯福出面斡旋。罗斯福欣然同意，6月2日即向俄国驻美大使提出和谈建议。8月9日，日俄和谈会议在美国朴次茅斯召开，9月5日双方签订和约，日俄战争正式结束。
日俄海战，特别对马海战在海战史上占有相对重要地位，对海军学术发展产生了重大影响，日俄海战持续时间之长，规模之大都是空前的。对马海战更是进入蒸气钢铁时代以来最大一次海上决战。日本舰队没有损失一艘军舰，没有折损一员将领而取得了全歼敌舰队的压倒性胜利，可谓海战史上所仅见。