幕府山位于南京东北，前接燕子矶，下临草鞋夹之夹江，远对滔滔大江，形势极为险要。黎元洪在监修炮台的工程中，态度极其认真，对工作非常负责，因此工程进展迅速。1895年4月兴工，到年底即全部完成。总共建造西式炮台七座，弹药房八间，弹子房四间，总药库六间，暗路四道。此外还修了土垒壕沟、了望台、兵房、军装房，并在炮台上安装了一百八十磅子长式后膛钢炮两尊，一百八十磅子短式后膛钢炮四尊，八十磅子后膛钢炮一尊，共用工料经费银三万九千二百五十四两。张之洞看到他办事踏实，讲求实效，又懂外文和新的科学知识，因而非常赏识。
对于幕府山炮台所发生的变化，张之洞心里特别清楚。在他担任署理两江总督一职以前，幕府山炮台不但大炮陈旧，炮台建置不合理，而且各炮台的炮手责既不专，技更不熟。张之洞还高兴地看到：为了加强幕府山炮台防务，黎元洪从组织上也进行了一些调整和整顿，经奏准在各炮台设立专管兵勇，每台任命一名专台官，全台炮勇皆归专台官督率管理，由学堂出身之炮务委员教练。炮台相近者，每三四台设一总台官。黎元洪因为是新式学堂出身，又在监修炮台中成效卓着，所以受到张之洞的重用。他先是被派充狮子山、幕府山、钟山等处炮台。不久又被任命为狮子山、幕府山、钟山等的专任台官，每月支薪银五十两。公费银五十两。责任增加了很多，收入也较从前有了大幅度的提高。张之洞非常欣赏黎元洪朴实能干和开明厚重的性格，手书“智勇深沉”字幅赠给黎元洪，表示对他的器重。炮台工程竣工后，张之洞向朝廷举荐黎元洪忠勇可靠、堪当重任，并任命黎元洪为南京炮台的总教习。就连平时商决要政时，张之洞也多征求黎元洪的意见。
1896年春，张之洞交卸两江政务，回到湖广总督本任时，又将黎元洪带往湖北。黎元洪在阔别家乡二十余年之后，重新回到湖北。回到湖北之后，黎元洪先是被派往炮厂监制快炮，尔后又被张之洞委以重任专练新军。张之洞把在南京建成的“护军”前营调到武昌，扩编为前后两营及工程兵一哨，也聘请了德国教习，并以天津、广东武备学堂毕业的学生任分教习，仿照西式军队加以训练。黎元洪由于得到张之洞的赏识，先任护军马队营帮带，继而任马队营管带，后又升任护军前锋四营的督带，品衔职级也由千总而守备，又晋为都司，复晋为副将，一路飙升，可谓官运亨通。
张之洞对黎元洪的器重，使黎元洪确实成为张之洞麾下的一员得力干将。而黎元洪也确实没有辱没张香帅对自己的厚爱与提拔，除了兢兢业业地完成新编练军的本职工作之外，也偶尔不失时机地露一手，干回老本行。这更让张之洞对黎元洪另眼相看，赞赏不已。一次，湖北向日本订购了“楚泰”号等兵轮，停靠在武昌黄鹤楼下的江中。张之洞突然兴致大发要亲自前往验视，并命兵轮沿江游弋一番。一开始兵轮航行得还算比较正常，转弯掉头亦非常灵活。不料在试验机关枪和船炮的时候，船身开始摇摆起来，加上天气骤然变化，暴风雨突然袭来，江上波浪大作，兵轮晃动得非常厉害。情急之下，张之洞记起黎元洪曾在北洋水师学堂学习过，遂命他赶快去驾驶台掌舵。果然，黎元洪身手不凡，亲自驾驶着兵轮，劈波斩浪，将船上的人带往安全地带。事后，惊魂未定的张之洞对黎元洪大加赞赏，称其为海军人才，下令黎元洪兼辖六楚舰队及四湖雷艇。黎元洪由此一跃而成为湖北军界之佼佼者。
张之洞不仅善于发现人才，而且还注意培养人才。他在任命黎元洪辅助自己编练湖北新军的时候，有感于日本陆军发展迅猛，可黎元洪过去毕竟是学习海军，并在海军服役，对于陆军缺乏系统的学习，有些方面还不甚精通。所以前后三次派遣黎元洪赴日本考察军事，以资湖北新军操练之用。
黎元洪三次访问日本考察军事训练，调查陆军编制，参观野外大操，前前后后在日本生活了一年多。经过军事考察，他掌握了一些编练新式陆军的军事要领，成为湖北地区新军将领中的佼佼者。同时他看到日本因军事的强大和先进，一跃而为世界上的强国之一，感触颇深，于是竭力辅佐张之洞建设湖北新军。通过在湖北实行军制改革，扩练新军；设立各级军事学堂，培训军事人才；发展军事工业，增加军火生产等措施，使湖北新军成为仅次于袁世凯北洋军的一支国内劲旅。
1902年，张之洞接受黎元洪的建议，将武备学堂、防营将弁学堂改为武备高等学堂，相当于日本的士官学校，培养新军中的较高级人才。另外还设立了武备普通中学堂，任命黎元洪为监督，借以培训新军各级军官，以适应扩建新军，提高新军水平的迫切需要。
湖北新军虽然人数不太多，只不过几千人，但是在黎元洪等人的认真编练和训导下，已经达到一定水平。据一些外国军事家分析，湖北新军在质量上“是全中国最好的”。1902年春，法国军事观察家嘉杜佛莱实地参观了驻扎在武昌的新军后发表评论说：“洋操队的编队操演和武器运用，可与最好的德国军队相比”，而“武昌军队的体格训练远较法国军队为优……工程兵与美国陆军工程兵的训练相似，他们训练得能在战斗中像步兵一样地活动。”同年，清朝当局也充分肯定了湖北编练新军的成效。不仅如此，为了推广湖北编练新军的经验，清朝政府特谕令江苏、安徽、江西、湖南各省，迅速选派将弁头目赴湖北学习操练，练成以后仍回原省，管带新兵。不仅各省派来的将弁因此而直接或间接地受过黎元洪的教育，而且“湖北督练处所印陆军书籍，本本皆有黎元洪校阅之名”，黎元洪的影响扩大到了江南各省，成为南方名将。由于黎元洪在编练新军方面居功至伟，所以进一步受到了张之洞的重用，故而连年得到提升并不断委以重任。1902年12月4日，黎元洪被调入督标中营，以尽先补用都司差遣。1903年，湖北增募了护军前锋四营，交黎元洪统带。
清朝政府为了检查各省练兵的实际效果，于1904年秋天，派练兵处襄办大臣、兵部侍郎铁良南下，赴江苏、安徽、湖南、湖北、河南等各省视察。1905年1月下旬，铁良一行到达湖北，考察湖北练兵情况。铁良在湖北除会见各级将官、视察兵工厂等外，重点检阅了陆军操练。1月30日上午，湖北新军各部在武昌城内右旗营进行操练表演；下午，分甲乙两军，在武昌城外西南巡司河、梅家山一带进行野外军事演习。当天，大雪纷飞，寒风凛冽，气候颇为恶劣。甲军为攻军，踏着冰雪转战三十多华里；乙军为守军，冒着严寒在梅家山附近筑掩体、造肩墙，固守阵地。操演完毕，铁良当场发表演说，对湖北新军给予高度评价。他说：“余阅沿江、沿海各省军队，未有如湖北军之精锐娴熟，有礼耐劳者也……当此冰雪满天、寒风砭骨之际，而兵卒一万余人，皆能恪守礼法，谨遵约束，无畏葸、无哗器，此诚鄙人出都以来见所未见。湖北军政，可谓天下第一。”事后，铁良又在给朝廷的正式奏报中强调：湖北新编常备军两镇，虽然编练不及四月，然而“军容耀，已壮观瞻，洵可为沿江各营伍之冠”。清朝政府根据铁良的奏报，训斥各省“积习迄未力除，实属有负委任”，惟独赞扬湖北“所练陆军，独能出色，深堪嘉奖”。张之洞以下皆受到奖励，黎元洪亦在嘉奖之列，且在军队中的威望也不断提高。
湖北新军编练得到了清朝政府的肯定，张之洞等人对编练之事更加积极。张之洞认为：“湖北地处长江上游，铁路交通，实为南北冲要，至少须练足陆军两镇，方足以资控制。”由于饷力不足，虽然按照两镇建制编练新军，但是因为各镇悬空一协，实际上只有相当于两个混成协的兵力。1905年，遵照练兵处奏定的陆军营制饷章，张之洞决心将第一镇全数补足；第二镇则等待饷力稍为丰裕后再行扩充。是年初，湖北新军人数为一万一千四百八十九名；到了年底，第一镇已扩充为一万二千零七十一名，第二镇五千一百八十八名。两镇共达一万七千二百五十九名。
是年12月7日，张之洞上奏清朝政府，黎元洪以游击用，并委为湖北新军第二镇第三协统领兼护该镇统制。1906年4月29日，经练兵处核议，原编第一镇改名为暂编陆军第八镇，总兵张彪担任统制；第二镇改为暂编第二十一混成协，游击黎元洪任统领，兼管马、炮、工、辎各队事务，月俸银为五百两。后来，湖北设立陆军小学堂，黎元洪复兼该学堂会办。