明万历十一年（1583年），居住在中国东北的满族部落首领努尔哈赤率众起事时，只有骑兵和步兵、没有水兵。
万历四十四年（1616年），努尔哈赤在赫图阿拉（今辽宁新宾县永陵）称汗，定年号“天命”，正式成立了后金政权。同年，努尔哈赤派手下大将扈尔汉领兵2000人攻打萨哈连部落。该部落位于黑龙江、精奇里江、牛满河地区，江河纵横。后金军队来到乌勒简河畔后，被河水挡住去路，遂派出600名士兵到河流上游的森林里伐木，“刳舟二百，水陆并进，取河南河北诸寨，凡三十有六”，其后又跨过黑龙江，“取萨哈连部内十一寨”。（《清太祖实录》卷五）接着，后金的军队又乘胜征服了东海（今日本海）沿岸的使犬部落。次年，努尔哈赤再度派遣水陆部队出征在东海边散居的各部落。对于那些“岛居负险不服者，乘小舟尽取之”。其中，包括库页岛上的各部落。（《清太祖实录》卷五）
在上述的各次作战中，后金军队的水师应运而生了。尽管这时的后金水师还是一支装备、编制等方面都很不完备的部队，带有临时的性质，但它毕竟标志着后金军队已从陆上打到了水上，已由骑、步兵发展到水陆协同作战的合成军队。明天启元年（后金天命六年，1621年）三月，明朝军队在沈阳和辽阳失败之后，后金军队乘胜南下，派兵千余人轻而易举地夺取了辽东牛岛及近海岛屿，从海上对明朝形成了新的威胁。
为了防止后金军队渡海南进，明政府任命熊廷弼为辽东经略，策划收复失地。熊廷弼主张从天津和登州、莱州出兵，渡海进攻辽东半岛，配合辽西陆路作战。仅3个月，已组建水陆师部队3万人，征集和新造战船、运输船2000艘。然而，熊廷弼的作战计划因辽东巡抚王化贞的强烈反对而告破产。工化贞另行派出游击毛文龙率领一支由220名壮士组成的精锐部队潜入辽东牛岛，开辟第二战场。
五月，毛文龙部在三岔河上船，从辽河口出海，沿辽东半岛南下，沿途攻克了猪岛、广鹿岛、石城岛、长山岛等岛屿，歼灭或驱逐了岛上的后金守军，最后在弥串堡（今朝鲜境内）登陆，由于得到当地汉民支持，毛文龙部迅速壮大。七月二十日，毛文龙领兵奇袭了鸭绿江畔的后金据点——镇江堡（今丹东九连城），生俘后金军游击佟养真。镇江堡的捷报传到北京后，明政府晋升毛文龙为广宁都司兼副总兵。王化贞建议朝廷应立即派遣天津、登莱一带水师前往增援，扩大战果。但熊廷弼却不以为然，各地水师按兵不动，从而失去收复辽东的良好战机。
努尔哈赤得知毛文龙取胜的消息后，十分震怒，立即派皇太极率领精兵3000人直扑镇江堡。毛文龙寡不敌众，退往朝鲜境内。后来，毛文龙就以皮岛（今椴岛）为中心创建了明军的海上根据地，被明政府授予东江镇的番号。东江镇明军主要是水师，分驻在三山岛、广鹿岛、长山岛、石城岛、小松岛、鹿岛、皮岛等岛屿上，不断袭击辽东半岛上的后金军队。
明天启三年（后金天命八年，1623年），毛文龙派守备张盘、程鸿鸣率水师一部从麻羊岛出发，夜袭金州。后金守军500多猝不及防，仓皇逃遁。明军水师占领金州，并分兵一部进驻旅顺。
次年五月，毛文龙又派出一支部队乘船溯鸭绿江而上，在珠舍里（今吉林浑江境内）登陆，奇袭辉发（今吉林桦甸），像一把利刃插入后金腹部。
明天启六年（后金天命十一年，1626年），毛文龙的一支部队突然出现在盛京（今沈阳）以南的鞍山驿。努尔哈赤极为震惊，急令八旗精锐前去讨伐。明军又矛头一转，攻击后金军队粮草屯集地萨尔浒（今辽宁抚顺以东）、凤凰城、汤山、险山等地。不久，毛文龙以战功晋升左都督。
明军水师以近海岛屿为依托，派出精悍的小部队频繁地进行两栖攻击。进攻打得后金军队防不胜防。退回到海上，令后金铁骑望洋兴叹。后金骑兵只得在辽东半岛上来回堵截，疲于奔命。这种被动挨打的状况，使努尔哈赤深刻认识到水师的重要，并下决心发展后金水师力量。
明崇祯二年（后金天聪三年，1629年）六月，明政府内部矛盾的激化，严重削弱了东江镇明军的力量。当时，明政府派督军袁崇焕赴双岛犒军和阅兵。毛文龙前来拜见，被袁崇焕以通敌等罪名斩于帐前，毛文龙部官兵2.8万人和战船150艘被改编成4协。袁崇焕是明末著名的将领，曾在宁远之战中大破后金军队。但他诛杀毛文龙的行动，却导致东江镇明军内部人心涣散，士气衰退。军事形势开始逆转。明崇祯四年（后金天聪五年，1631年）五月，后金军队一改以往被动防守的局面，出动6000多人乘船渡海攻击皮岛。明军征虏前将军都督佥事黄龙指挥皮岛守军坚决抵抗，并派副总兵张焘率水师袭击身弥岛上的后金部队，初战获胜。接着，明军水师出动100余艘战船向后金军在朝鲜西海岸的据点宣川浦大举进攻。“战舰蔽海，连日进战，炮烟四塞，声振天地。”明军唬船、舢板装备有威力“洋炮”和大量的三眼鸟枪，猛烈的火力打得后金军队死伤惨重。六七百人当场毙命，负伤的就更多。后金军队的船只全部丧失，残兵退到离海岸80里以外的地方。通过此次海战，后金首领进一步认识到要消灭东江镇明军，必须建设强大的后金水师。
明政府内部的争斗，给后金带来了组建水师的有利条件。毛文龙被杀后，其部属孔有德、耿仲明受到排斥，在登州举兵反叛明政府，带领一支水师冲破明军堵截，于明崇祯六年（后金天聪七年，1633年）五月到镇江堡投奔后金，成为后金外海水师的基础。
孔、耿军从登州夺取了300余门炮，其中12门为红夷炮。红夷炮是当时西方研制的新型火炮，身管长，管壁厚，弹道低伸，射程远，命中率高，威力大。努尔哈赤就是在宁远之战中被这种炮击伤后不治身亡的。
孔、耿军水师归顺后金仅1个月，就配合后金陆军向旅顺发动猛攻。当时，东江镇明军水师奉命赴鸭绿江口执行任务，旅顺空虚。七月，万余名后金军步、骑兵直扑旅顺，从陆上正面强攻。另有一支后金部队乘船、筏渡海，抄袭旅顺后路。黄龙督部拼死抵抗，击毙了大量后金官兵。由于力量对比悬殊，黄龙终于兵败自刎，旅顺失守。后金军控制旅顺这个海防重地后，又获得了一批船只，既解除了后顾之忧，又可威胁登、莱，战略上更为主动。孔有德、耿仲明分别被皇太极任命为都元帅和总兵。
次年，明军广鹿岛水师副将尚可喜又率部叛明，攻占长山岛等岛屿后，归顺后金，更增加了后金水师的力量。尚可喜也被授予总兵。皇太极还将孔、耿、尚等部的官兵编为汉军八旗，提高他们的地位。
明崇祯九年（清崇德元年，1636年）冬，清军（从四月起，后金改称清）10万兵马由皇太极亲自率领，从盛京出发，大举入朝。孔有德等人指挥的清军水师奉命配合陆师进攻朝鲜近海的皮岛、云从岛、大花岛及渤海的铁山等岛。
次年二月，清军水师集中水师主力，以及新近归顺的朝鲜水军，一起向皮岛进攻。明军总兵沈世奎率部抵御。血战月余，清军始终未能得手。皇太极又命十二弟、武英郡王阿济格统领水陆大军再次进攻皮岛。
四月八日夜，部分清军及助战的朝鲜兵分乘70余艘战船列阵于身弥岛海面，击鼓进兵，吸引住皮岛守军的注意力。八旗护军则在水师掩护下，乘船绕到皮岛西北海岸登陆。由于该处守军疏于防备，清军顺利上岸，并向皮岛纵深挺进。在前后两路清军的夹击下，皮岛明军万余人大部战死，一部被俘，沈世奎被擒斩首。
明崇祯十一年（清崇德三年，1638年）二月，在弹尽粮绝、走投无路的情况下，沈志祥率驻石城岛明军2500多人向清军投降。至此，辽东和朝鲜近海岛屿上的明军荡然无存，长达17年之久的辽东沿海争夺战终于结束。清军消除了后顾之忧，便可集中全力向西进攻了。6年后，八旗铁骑进入山海关，横扫全国。
在进攻朝鲜前后，清军内河水师还配合骑，步兵征服了散居在乌苏里江、松花江上游、绥芬河流域及滨海地区（今俄罗斯境内）的瓦尔喀各部落。从而使清军有了更加安定的后方。
清朝军队打天下主要是依靠骑兵。但水师也起了重要的作用，特别是在辽东半岛及近海岛屿的争夺战中，水师的作用更加明显。在征服东北各部落的作战中，水师的作用也不容忽视。在战斗中创建起来的清军水师，是人关前清军的重要组成部分，隶属于八旗各部，构成了八旗水师的基础。