汉代水军称楼船军。在我国武装力量建制中正式设置水军，是从西汉开始的。据《汉宫仪》记载，“高祖命天下郡国，选能引关蹶张，材力武猛者，以为轻车、骑士、材官、楼船……平地用车骑，山阻用材官，水泉用楼船。”又据《汉书·刑法志》记载，汉武帝发动统一东南沿海战争时，“内增七校，外有楼船，皆岁时讲肄，修武备”。这两项记载说明，楼船军是在屯骑（骑兵）、步兵等七校之外，根据沿江海的地理条件和防务需要而设立的，属汉代郡国兵制备军。郡国兵属于中央王朝，郡守可行使管辖权，但不能发兵。发兵需凭皇帝的虎符和行使符。武帝建元三年（公元前138年），汉武帝“遣助以节发兵会稽”，浮海救东瓯，（《前汉书·严助传》）就是一例。
楼船军士兵称“楼船士”、“楫濯士”，或“棹卒”，多由渔民、水家子弟充任。其服役年龄为23岁到56岁。
如前所述，汉代水军既属郡国兵，自然不设常任指挥官，所以在《汉书》百官表中没有载列楼船官职。统帅楼船军作战的指挥官，是在征伐时临时拜封的。例如散见于《史记》、《汉书》名传中的，有伏波将军路博德、马援，楼船将军杨仆、段志，戈船将军归义越侯严，下濑将军归义越侯甲，横海将军韩说，横海校尉刘福等人。这些将军的等级和职务大小，史书中未见有明确划分，其中伏波将军的职务可能最高。因为据《后汉书·光武帝纪》记载，汉光武帝发兵征高趾郡时，楼船将军段志是由伏波将军马援节制的。汉兵制规定“不立素将，无拥兵专制之虞”，（转引自包遵彭《中国海军史》）因事立称，事毕撤官，兵归防地。所以汉代只有常备的水军部队，而无常设的水军将领。平时楼船的管理和训练，由没有指挥权的官员负责。例如《汉书·百官公卿表》中列举的楫濯令丞（即船官）和《汉书·地理志》中提到的楼船官，就是这类官员。
汉代水军将士戴黄帽，这是按五行学说，“土胜水，其色黄，故刺船之，即皆者黄帽，因号曰黄头即也”。（《汉书·邓通》颜注）
汉代楼船军为郡国兵，原则上以外郡为基地，主要在江淮以南，但在北方的齐地也有楼船军及其基地，如进攻朝鲜的楼船就是从现在的山东半岛调集和出发的。从现有史料查考到的汉代楼船军的主要基地有：
豫章、寻阳
豫章属豫章郡，即今之南昌。据《汉书·武帝纪》记载，平南越时，“楼船将军杨仆，出豫章，下浈水”，便是从南昌溯赣江南下，在赣州人桃江转入浈水，顺流达韶关，再进入北江直到广州。若由赣江北上，则可过鄱阳湖，进入长江。寻阳，属庐江郡，在九江府西15里，据江湖之口，为咽喉要地。《汉书·伍被传》上说：“略衡山，以击庐江，有寻阳之船。”《汉书·严助传》也说到闽越反叛，而“入燔寻阳楼船”。汉武帝第三次巡海是从寻阳登船沿江东下的。可见寻阳是汉代较重要的一处水军基地。
庐江、枞阳
庐江、枞阳同属于庐江郡。据《汉书·地理志》记载，汉代在庐江郡设置“楼船官”，又有造船工场。庐江郡治所先设在今之安徽舒城，后移潜山，均距长江甚远，这里所说的水军基地当指今之安庆，造船工场也在安庆下游江边菜子口的枞阳。（《读史方舆纪要》）当汉武帝在元封五年（公元前106年）乘船巡海时，先从寻阳登船，顺流而下，到安庆视察了造船工场，又增添了船只，然后，“舳舻千里，薄枞阳而出”。（《汉书·武帝纪》）可见对长江下游来说，庐江基地的重要性，远在寻阳之上。
会稽、句章
会稽郡辖今江苏东部与浙江西部地区，郡治在今之苏州。后于东汉永建四年（公元129年）移至绍兴。汉武帝时曾派朱买臣为会稽太守，令朱买臣到郡后“治楼船，备粮食，水战具”。（《汉书·朱买臣传》）这说明在汉代苏州既是造船中心，又是水军基地。建元三年（公元前138年），浮海救东瓯，水军就是从会稽出发的。元鼎六年（公元前111年），汉水军平闽越，也是由会稽出海南下的。（《汉书·武帝纪》）句章城址在今浙江慈溪县以西与上虞以北交界的杭州湾海边。平闽越时，“上遣横海将军韩说出句章，浮海从东方往”。元封元年（公元前110年）冬，攻至闽越，“闽越军使循北将军守武林，败楼船军数校尉，杀长史，楼船军卒钱塘。”（《汉书》卷九十五）从这段记载中，可以得知钱塘江口外的句章，是一处水军基地。
博昌
博昌属千乘郡，在今山东博兴县小清河入海口附近。小清河自济南经高苑县流过博昌而入莱州湾。济南以东，临淄以北的所有河流皆汇于博昌入海。凡海上渔盐之利及沿小清河、大清河各地物产，都在博昌集散，是当时北方的一个重要口岸。据《汉书·卜式传》记载，“臣愿与子男及临菑习弩，博昌习船者请行。”可见，博昌也是汉代水军基地之一。
此外，元狩三年（公元前120年），汉武帝在长安城西南挖了方圆40里的“昆明池”，（《文献通考》）“中有戈船楼船各数百艘”，（《西京杂记》）终日进行操练，准备讨伐南越。看来，当时西安的昆明池是汉水军的训练基地。《三辅黄图》：“中有戈船，各数十，楼船百艘。”《玉海》：“有百艘楼船，上建楼橹。戈船各数十，上建戈矛。”