1895年，当时署两江总督的张之洞在南京建立起“自强军”，是为江南新式陆军之始。由于自强军是仿德国陆军编制而成，因此，张之洞一开始就定下了自强军设乐兵16名的编制。1896年8月，自强军移驻上海吴淞后，开始了军乐队的组建。先后在德国订购了洋鼓、长短号筒、喇叭洋笛等西洋乐器，并挑选了12名士兵，从民间招募3名，组成自强军军乐队。并雇德国军官任教官，于1897年初正式训练。1897年5月1日，自强军在吴淞举行大阅操，邀请驻上海各国领事观摩，并设宴。席间，乐队的演奏令中外人士惊讶。
自强军军乐队的建立，实开近代中国军乐队之先声，在中西音乐文化的交流上也占有一定的地位。