在商末周武王伐纣时，已经使用船只，运送军队和战具，渡过黄河去作战。到春秋时期，吴、楚、越三国争霸于长江流域，经常用船只运载军队进行水战。据《左传》记载，鲁襄公二十四年（公元前549年），“楚子为舟师以伐吴”，这是关于水军和专为水战而建造船只的最早文献记载。鲁昭公十七年（公元前525年），吴国出动舟师和楚国舟师战于长岸（今安徽当涂西南），楚国“大败吴师，获其舟艅艎”（史书中出现的最早的战船名，也作“余皇”，是吴国国王乘坐的指挥船）。随着水战的发展，各种用途的战船也不断涌现。公元前六世纪末，伍子胥（？—前484）在吴国训练水军时，把大中小各型战船按作战用途分成大翼、小翼、突冒、楼船、桥船等，并以战车作比喻，说大翼相当于重车，小翼相当于轻车，突冒相当于冲车，楼船相当于行楼车（指挥车），桥船相当于轻足骠骑，是一种小型快艇。（据《越绝书》）这些战船在水战中配合使用，发挥综合的战斗作用。同时，越国和秦国也建造了各型战船。从秦汉到明代，随社会生产力的发展和战争规模的扩大，我国古代战船也得到了长足的发展。首先是水军战船数量多，舰队规模大。如汉元狩三年（公元前120年），汉武帝下令在长安城西南挖了四十里方圆的“昆明池”，在池中建造楼船、戈船等几百艘战船，大船可容千人。东汉建武十八年（公元42年），汉光武帝派伏波将军马援（前14—后49）率部队分乘两千艘战船，前往交阯，进行水上作战。三国时期，东吴水师拥有战船五千艘。隋文帝开皇八年（公元588年），在隋灭陈之战中，隋将杨素（？—606）率水军有几千艘战舰。
其次是大型主力战舰屡有创新。汉代的楼船高达十多丈，船面上建楼二层到四层，每层外面都环有三尺高的女墙，掩护士兵作战。大型楼船可载将士一千人，东吴的楼船可载将士三千人，宛如水上高城。据《晋书·王濬传》记载，西晋建造的战船“连舫”，“方百二十步，受二千余人，以木为城，起楼橹，开四出门，其上皆得驰马来往。”隋代杨素建造的大型五牙、大榏等战船，上建五层楼，高一百多尺，乘员八百多人，四周安有高十多尺的拍杆，用以击打敌船。郑和下“西洋”时主帅乘坐的宝船，长达四十四丈、宽达十八丈。主力战船的不断创新，使水师的战斗力不断得到提高。
第三是战船分类越来越科学。西汉时期已经根据不同作战任务的需要，把战船进行分类：大型楼船是水军主帅乘坐的指挥船；运送士兵率先登陆抢战滩头阵地的船称“先登”；船体狭长、专门用来冲击敌方船队的战船称“艨冲”；侦察敌情的船称“斥候”；轻型快速的船称“赤马舟”；防御设备比较好的船称“舰”；小型战船称“艇”；比楼船稍小的船称“斗舰”；四周有女墙防护、桨手多、航速快的船称“走舸”；装有冲角、用以撞击敌船的船称“突冒”等。战船进行科学分类后，既使战船将士能明确自己的职责，又利于相互进行协同作战。
第四是兵器装备逐渐更新。早期战船只装备刀、矛、弓、剑、戈。秦汉时期增加了弩。东晋（一说隋代）的战船已经安有拍杆。宋代的战船开始配备火球、火药箭、火枪，水军也进入冷兵器和火器并用的时期。元末明初的战船上开始装备金属管形射击火器——火铳。嘉靖年间，戚继光所编水军营的大型福船、中型海沧船、小型苍山船，都增加了大发贡（一种大型火炮，“贡”也作“熕”）、佛郎机炮、鸟铳等火绳枪炮，加上火箭、火砖、喷筒等火器，战船上使用火器的士兵已占编制总数的一半左右。同时，还创造了子母舟、连环舟、火龙船、赤龙舟等各种专门装备火器用于火攻的小型战船。此外，新创制的水雷和古代二级火箭——“火龙出水”已在水战中使用。
明代创制的地雷和水雷，是我国和世界上最早的雷式火器。
明代军事著作《武备志》记载了当时制造的十多种地雷。它们的外壳用生铁、石、陶等制成，埋在地下，通过绊、踏、拉等方式引起爆炸。其中，有一种叫作炸炮，壳体系生铁铸成，内装炸药，上面有一小孔，以小竹管穿线于内，几十个炸炮的引线都连在钢轮发火装置的火槽上。将炸炮挖坑埋好后，把钢轮铁轴上的绳卷引出，横置于路上，遇有人马绊踏，牵动钢轮转动，从而发火点燃火槽，使炸炮引爆。这几十个炸炮实际上就是绊踏式地雷群。
明代的水雷类型也很多。其中有一种叫作水底龙王炮。其壳体系熟铁制成，每个重四至六斤，内装炸药五升至一斗。炮口安香头引火，香头视驶来的敌船距离远近，可长可短。另用牛脬（膀胱）做成囊，点燃炮口的香头，再把炮装入囊中，在囊内插进一根羊肠后，将囊密封，载在木板上，用石坠入水中；同时将羊肠的另一头引拉到水面，置于鹅雁翎做成的浮排上，用以通气。当驶来的敌船接近或触撞到炮位时，香头己燃及炮内的火药，炮即在水底爆炸，毁伤敌船。