不管别人如何算计，张之洞抱定“愚公移山，有志竟成”之意来创办中国第一家钢铁联合企业。1890年4月，海军衙门正式允准铁厂移鄂。5月，张之洞即于武昌宝武局公所设立铁政局，次年移至武昌三佛阁，委派“器端识远，心细才长，熟习洋情，曾充美国等国翻译参赞等宫”的湖北补用道蔡锡勇为总办，主持其事。
创业伊始，举步维艰。开厂所需巨额经费，令张之洞绞尽脑汁。由于经验不足，张之洞原以为两百万银两便可成事，而海军衙门曾应允从铁路款项下拨出此数以供开支。殊不知这仅是一张空头支票，从未兑现。而实际建厂费用又远远超出二百万两之数。张之洞无奈，只得左右腾挪，四处借贷，截留应缴部款，以敷急用。从以下奏折，可见其乞援窘象之一斑：“臣夙夜焦急，再四筹思，惟有向广东借拨之一法。……铁厂本系由粤移鄂，武营四成报效及银元余款又系臣在粤创办之举，每岁增常款数十万金，今为铁厂仅借用五十万两，开炼钢铁，筹备军实，当务之急，无逾于此。李瀚章公忠体国，轸念时艰，必能设法腾挪，迅速拨解济用，助成自强要举。”
汉阳炼铁厂从创始到1869年交商承办，共耗银五百六十八万两，这是晚清洋务企业中耗资最多的。其铢积寸累之艰辛，并不为人所理解。1893年，有人参劾：“张之洞自移督湖广以来，议办炼铁，并开煤铁各矿，乞留巨款，轻信人言，浪掷正供”。此劾虽经两江总督刘坤一禀饬查实驳回，但张之洞对于讹传非议的愤愤之情，实难平复：“至于工作之繁重，外洋购料之周折，分设各厂之辽阔，华匠学制之艰难，亦皆凿凿有据之事，从来身居局外者既非身习其事，又未目击其难，往往以道路传闯之语悬揣苛求，……视为不烦巨款而办，不需多日而成。”
1891年1月，汉阳炼铁厂正式破土动工。两年以后，所属炼生铁厂、炼贝色麻钢厂、炼熟铁厂、炼西门士钢厂、造铁货厂、造钢轨厂、鱼片钩钉厂陆续告竣。1894年6月，高炉开炼，之洞亲临铁厂视察一周。汉阳炼铁厂的建成投产，比日本第一家近代钢铁联合企业八幡制铁所早七年。它的规模在当时的亚洲首屈一指。一个日本人写的报道，描述了炼铁厂的宏伟：“登高下瞻，使人胆裂：烟囱凸起，矗立云霄：屋脊纵横，密如鳞甲；化铁炉之雄杰，碾轨床之森列，汽声隆隆，锤声丁丁，触于眼帘、轰于耳鼓者，是为二十世纪中国之雄厂耶！”美国驻汉口领事查尔德称，“这企业是迄今日为止，中国以制造武器、钢轨、机器为目的的最进步的运动，因为这个工厂是完善无疵的，而且规模宏大，所以就是走马看花地参观一下，也要几个钟头。”《东方杂志》也刊载了西方人士的惊呼：“汉阳铁厂之崛起于中国，大有振衣千仞一览众山之势，证诸领事之报告，吾人预知其不可量矣。中华铁市，将不胫而走各洋面，必与英美两邦，角胜于世界之商场，其关系非同毫发，英美当道，幸匆以幺幺视之。……呜呼！中国醒矣，此种种费祸，较之强兵劲旅，蹂躏老羸之军队尤可虑也。”
这表明，汉阳炼铁厂的建成不仅具有经济上的意义，而且对于振奋民族精神，提高中国的国际地位，都产生了积极的影响，其作用不可小觑。
无容讳言，由于当时整个中国社会政治制度状况及经济发展水平的限制，特别是张之洞本人并非资产阶级化的企业巨头，而是比较开明的封疆大吏，其思维方式、知识构成、管理作风，均很不适应于近代大工业的基本要求，汉阳炼铁厂在从筹建到开工以及此后经营的过程中，违背客观规律和经营法则的情况屡屡出现，严重影响了建厂速度，产品质量和经济效益也无法保证。
不事先勘定足量、优质、适用的煤和铁矿资源，办大型钢铁联合企业便无异搞“无米之炊”。恰恰在这个问题上，张之洞掉以轻心。他沉浸于“以中国之大，何所不有”的虚骄情绪之中，凭藉主观愿望行事，先购机，后找矿。待到英商提供的贝色麻炼钢炉运到，才发现准备投料的大冶铁矿石含磷量高达0.25％，而依据酸式炼钢法设计的贝色麻炉无法除去如此数量的磷成分，必须改用碱法马丁炼钢炉，方可炼出合于制造铁路路轨的钢材。仅此一误，便造成巨大浪费。
煤矿供应，问题更大。官办汉阳炼铁厂最后经营失败，这是致命伤所在。张之洞在粤时，“虽有创办钢厂之伟画，而煤在何处，固未遑计及也。”到湖北后，张之洞聘德国、比利时等国矿师四出巡访踏勘，足迹遍及湖北、湖南、江西、贵州、陕西数十州县。几经周折，最后选定大冶王三石、江夏马鞍山两处，投资开掘。王三石矿耗资五十万两，结果挖出大水，只得停工。马鞍山矿不仅产量有限，而且含硫磺过多，不甚适于炼焦之用。无奈之下，张之洞只得舍近求远，购买开平之煤，甚至从英国、比利时、德国等进口焦炭，以供铁厂之需。这不仅费用昂贵，而且供应无法保证。高炉于1894年6月开炼，不到半年便因煤炭不足被迫停炉。此后一直开工不足。
在工厂管理方面，也弊病丛生。上上下下一派衙门作风，冗员充斥，互相推诿，“每出一差，委员必十位，八位，爵秩相等，并驾齐驱，以致事权不一，互相观望”，这些人管理现代化工厂一窍不通，但营私舞弊却是行家里手。“厂中共用洋员四十余人，华员数倍之，无煤可用，无铁可炼，终日酣嬉，所费者又不知凡几。”有人统计，汉阳炼铁厂官办期间所耗五百六十余万两银中，真正用到实处的不过二百余万两，“其余皆系浮费之款，于公司毫无利益。”由于以上原因，汉阳炼铁厂的经营情况十分糟糕。“如每日冶炉化出生铁一百吨，将亏本银二千两，是冶炉多煽一日，即多亏本一日”，“炼铁仅开一炉，每年仅出铁一万五千余吨，亏折甚巨；欲添开一炉，则须增银五六十万两，无从筹措。加以所聘洋员一再更易，良工难得”，铁厂经营实在难以为继。之洞已使出全身解数，仍无回天之力，“鄙人实无颜再向朝廷请款，亦无词可以谢谗谤之口，是死症矣。”
为了使汉阳炼铁厂得以生存下去，张之洞致电蔡锡勇：“铁厂一切经费拟包与洋人。有愿包者否？每年经费若干？建询各洋匠，电复。”但此议大受反对。湖南巡抚陈宝箴致电张之洞：忽闻铁政将与洋商合办，极感怅然。我公此举原为铁路、枪炮及塞漏卮而设，诚中国第一大政，我公生平第一盛业。今需用正急，忽与外人共之，与君初意大不符合。且此端一开，将无事不趋此便易之路，彼资日增，我力难继，必至喧宾夺主，甚为中国惜之。
电文句句在理，再加上张之洞本意并非不愿揽华商承办，而是怀疑华商恐无此财力；而洋商出于种种考虑，也无人敢于贸然接手，在这种情况下，蔡锡勇通过湖北纺纱局总办盛春颐，向其伯父直属海关道盛宣怀活动，劝其接办。前此，盛宣怀即有商办汉阳炼铁厂的念头，但当时张之洞不以为然，“公谓路舰炮械非铁不成，正须官力扩充，招商非计”。另外，当时盛宣怀与李鸿章关系十分密切，张之洞亦不愿铁厂权力旁落他人之手。但是到了张之洞不得不认铁厂只有“招商承办之一策”的1896年，情况发生变化。中日甲午战后，李鸿章权势显下落之态，而张之洞却声望日高，盛宣怀有心向张之洞靠拢，并企图以承领铁厂作为揽办芦汉铁路主权的筹码。虽然他知道接办铁厂困难重重，“徘徊中夜，毫无成算”，但还是亲赴武昌，与张之洞会商。“盛道此来与之细谈，……大意谓铁路若归鄂办，则铁有销路，炼铁之本，可于铁路费内挹注。正筹议间，适闻有芦汉铁路交王夔帅（直隶总督王文韶）及敝处督率商办之旨，渠甚踊跃，谓亦愿招商承办。……盛若令办铁路，则铁厂自必归其承接，如此则铁厂全盘皆活。”
由于双方各有所图，很快达成协议。1896年4月，张之洞正式札委盛宣怀督办汉阳炼铁厂，由盛招集商股，官督商办。一切事宜由盛宣怀“一手经理”，“但随时择要禀报本部堂查考”。双方议定承办铁厂章程，规定嗣后该厂需用资金，“无论多少，悉归商筹”，此前所用官本数百万两，“概由商局承认，陆续分年抽还”，其具体办法是：“俟铁路公司向汉阳铁厂订购钢轨之日起，即按厂中每日生铁一吨抽银一两，即将官币数百万抽足还清，以后仍行永远按吨照抽，以为该局报效之款。”为使铁厂有一个较好的经营环境，章程又规定今后无论官办商办铁路所需之钢轨及钢铁料件必须向湖北铁厂随时定购，并给予该厂免税十年的优惠条件。
1896年4月11日起，汉阳炼铁厂由官办企业变成盛宣怀主持的官督商办企业。两年以后，勘得“磺轻灰少，炼焦最佳”的江西萍乡煤矿，基本解决了铁厂燃料问题。1908年，汉阳铁厂、大冶铁矿及萍乡煤矿组成“汉冶萍公司”，盛宣怀任总经理，完全取消“督办”名义，成为纯粹的商办企业。
汉阳炼铁厂自开炉到交商承办前的1895年10月，共产生铁5600余吨，熟铁110吨，生产贝色麻钢料940余吨，马丁钢料450余吨。虽然汉阳炼钢厂产量与巨额投资不成比例，经营难以维持生计，但是，中国近代民族钢铁工业正是从这里起步。