我国古代海军称舟师、水军或水师，它是随着战争的需要和战场的转移而逐步形成的。大体上经历了追捕奴隶、军事运输和有组织地进行水上作战的三个发展阶段。人类社会自从出现阶级和阶级战争之后，船舶逐渐由运输和捕鱼工具，发展成为一种暴力工具。据殷商甲骨卜辞记载，商代后期，商王武丁曾派人乘船追捕逃亡海上的奴隶，用了15天时间把这批奴隶捕捉回来。（参见郭沫若主编：《中国史稿》）后来，随着船舶质量的提高和数量的增加，船舶便大规模地用于战争了。
湖南的木板船
最初，船舶只是被征调运送部队和军事物资。武王伐纣渡孟津，是我国史籍关于船舶用于军事运输的最早记载。公元前1070年正月（另一说为公元前1066年，见唐志拔：《中国舰船史》等），周武王率兵车300乘，虎贲（周王的近卫军）3000人，甲士45000人，并联合了一些方国部落的军队，大举伐纣。参战部队由47艘大船运送，在孟津渡河东进，经牧野决战大破商军，直捣商都朝歌（今河南淇县），灭亡了商朝。这次渡河作战，组织严密，有专人指挥船只，规模空前。但这些船只毕竟是临时征集的，没有专门用于水战的兵器和人员，因此还称不上舟师。
到了春秋时期，由于生产力的发展，特别是铁器的使用，造船技术和造船能力得到空前的提高。临江傍海的诸侯国都出现了造船业，其中以吴、越最为发达，称之为“船宫”，能造多种用途的船只。南方各国江河密布，水上运输也很兴盛，吴国“不能一日而废舟楫之用”。至于越国，还在周代，就有“于越献舟”的盛事，浩浩荡荡的船队沿海北上，人淮河西行，到达今天西安附近周王朝统治的中心地区。所有这一切，为中国古代海军的形成创造了物质条件。
春秋时期，各诸侯国力量日渐强大，出现了王室衰微，诸侯争霸的局面。各诸侯国之间的战争连绵不断，先是在中原地区进行，后来扩展到东南地区。为了适应水网地区作战的需要，南方的吴国、越国、楚国和面临东海的齐国，都先后改装和建造战船，抽调官兵进行水上作战训练。于是，中国古代海军便应运而生了。
我国古代海军诞生于何时何地，史书没有明确记载。但可以根据史料推算出来。据《左传·襄公二十四年》记载：“楚子为舟师以伐吴，不为军政，无功而还”。这是目前所见到的第一次水战记载。这次水战发生在鲁襄公二十四年，即公元前549年。这就是说，在公元前549年以前，楚国就已经有了舟师。据元代的马端临考证，“楚用舟师自康王始。”（《文献通考·兵一注》）按楚康王元年，正当鲁襄公十四年，即公元前559年。可见我国古代舟师在鲁襄公十四年至二十四年，即公元前559年至549年之间就已诞生，距今至少已有2550多年的悠久历史了。