伴随着太平天国运动的兴起与失败，靠镇压农民起义起家的曾国藩、李鸿章、左宗棠等一批地方实力派应运而生。
在以“自强”和“求富”为口号的洋务运动中，这批人聚集到了主管“总理各国事务衙门”的议政王奕訢旗下。为避免奕訢权势的过度膨胀，慈禧太后扶植了一个“清流派”作为操纵派系力量的工具，采取“以清议维持大局”的手段，牵制朝廷内外的洋务重臣。前期“清流派”以军机大臣、大学士李鸿藻为魁首，张之洞、张佩纶等为其主力干将。“清流派”的主要政治主张是对内整饬纲纪，对外反对列强侵略。他们在朝廷内部互为朋党，竞相援引，每逢要事必交章弹议，议时政、劾权臣、参要员、斥宦官，锋芒毕露。据说，李鸿章对这些“无事不议，放言高论”的清流们不满至极，一提到他们就要捶胸顿足。由于张之洞才华横溢，不久就声名鹊起。1882年，经李鸿藻推荐，慈禧太后恩准，四十五岁的张之洞出任山西巡抚，成为封疆大吏。正是在山西巡抚任上，张之洞与中国近代钢铁工业开始结缘。
原来，“晋铁”的历史相当悠久，曾长期远销奉天、上海等省区。但是，到了十九世纪七十年代，由于中国的门户已被列强打开，山西的土铁冶炼业受到了进口“洋铁”的强烈冲击，再加上当时清政府规定“贡铁不准海运”，而陆运成本过高，以至“晋铁”的市场日见萎缩。1883年，张之洞的“清流”好友、时任都察院左副都御史的张佩纶路过山西，张之洞与他谈到了“铁”的问题，张之洞认为，进口铁不是长久之计，应该在山西大量炼铁以取代进口。张佩纶回京后，在总理衙门阐述了张之洞的想法，经总理衙门商议，打算在山西设局炼铁，并由张之洞督办。在听到这一消息后，张之洞颇为振奋，回信称：“这是我多年来的夙愿，自然全力执行！”
恰值张之洞开始商议开采铁矿的时候，1883年12月，中法战争爆发。直至1884年3月，清军在越南战场上连连失败，法国军舰为与越南战场相呼应，则不断侵扰我国东南沿海。在这种形势下，以奕訢为首的军机处消极抗战，遭到了朝中清流派的抨击。慈禧太后遂乘机将“主和”的奕訢剔出决策层，改由“主战派”控制总理衙门。由于张之洞是坚决的“主战派”，1884年4月25日，清政府命张之洞迅速回京。5月22日，张之洞接到了署理两广总督的任命。7月8日，张之洞到达广州，四天后接任。一个月后，清廷正式委任张之洞为两广总督。
在两广总督任上，张之洞大力整顿防务，妥善处理内部各派系之间的关系，起用老将冯子材（时年70岁），联络刘永福的黑旗军，终于取得了中法战争的胜利（这也是晚清政府对外抗战取得的唯一一次重大胜利）。与此同时，张之洞仍惦记着办炼铁厂。原来，早在明朝正德年间（1506-1521年），广东佛山一带的冶铁业就已经发展起来，其铁器行销全国，当地居民大部分从事冶铁业。只是在鸦片战争以后，由于洋铁的冲击，加上清政府实施“铁禁”，佛山的冶铁业才逐渐衰弱下来。
1889年，张之洞上“筹设炼铁厂折”。他说：“窃以今日自强之端，首在开辟利源，杜绝外耗。……两广地方产铁素多，而广东铁质尤良。前因洋铁充斥，有碍土铁，经臣迭次奏请，开放铁禁，暂免税厘，复奏免炉饷，请准任便煽铸，以轻成本而敌侵销。多方以图，无非欲收已失之利，还之于民。”他在折中建议的创办形式是“官倡民办”，具体方法为“官方先垫款开办，等到稍见成效后招商人募股，归还官方本金，交由商人管理。”
得到清廷认可后，张之洞决定从速实施这一计划。在与驻英公使刘瑞芬、驻德公使洪钧等通电讨论数次后，张之洞决定向英国订购炼钢炉机。为配合筹建炼铁厂，张之洞还开办了矿务局，制定了《矿务条例》，开放了“铁禁”，鼓励民间投资开矿。在张之洞的支持下，佛山铁矿开始开采。
好事多磨。张之洞刚刚摆出在广东“大炼钢铁”的架势，向英国订购的炼钢设备尚未到货，清廷的一纸调令又将张之洞从广州调到了武汉——由两广总督改任湖广总督，两广总督一职则由李鸿章的哥哥李瀚章接任。如此以来，张之洞在广东“大炼钢铁”的计划不得不再次搁置。
这次调动并非清廷主动，而是由张之洞建议修筑“芦汉铁路”的奏折引起的。原来，早在1880年，赋闲在家的刘铭传被再度起用时，上“筹造铁路以图自强折”，提议修造以北京为中心的三条铁路干线。清廷要求各封疆重臣商议后复奏，被清流派阻挠，没有成功。后几经挫折，1885年终于建成了津沽铁路。之后，粤商陈承德要求承建由天津至通州的津通铁路，已经获得总理衙门的批准，可是，仍有很多人对此事百般阻挠、议论纷纷。本来，在北京做清流干将时的张之洞也是修建铁路的反对者之一。可是，几年的封疆大吏生涯，让张之洞打开了眼界，认识到了修建铁路对当时中国的现实意义，已经由反对者转变为热心的支持者。这时的张之洞认为，“铁路为自强第一要端，铁路不成，他端更无论矣。”“西洋富强，尤根于此。”1889年初，张之洞上了一道“请缓造津通铁路改建腹省干路折”的奏章，建议缓建津通铁路，改建一条自芦沟桥经河南达于汉口的芦汉铁路。张之洞提出，芦汉铁路是“干路之枢纽，枝路之始基，而中国大利之萃也”。朝廷准奏，计划北段由直隶总督主持，南段由湖广总督主持，南北分段修筑。于是，才有了张之洞的这次由粤移鄂的调动。
不过，由粤移鄂督建铁路的任务与张之洞筹建炼铁厂的想法并不矛盾。因为既然要修建那么长的铁路干线，肯定需要大量的钢轨。而当时的中国尚无一家近代钢铁工业。要么购买洋轨，要么建造自己的炼铁厂生产钢轨，必须做出抉择。李鸿章认为必须依靠外国钢轨。他告诉张之洞：“炼铁制成钢轨、铁桥、机车，实非易事，日本铁路日增，至今工料皆用土产，只有钢轨需要不断从外国进口。”但是，主意已定的张之洞选择了后者。这是因为，当他还在山西巡抚任上时，就有了这个念头，到做了两广总督，已经把开采铁矿与筹办炼铁厂提上了议事日程。他说：“财政虽然困难，但每年二百万还是筹得到的，中国的钢铁虽然质量差，但绝没有炼不出好铁的道理。中国产铁之处众多，必能适应建设需要。只要坚持不懈，十年、十余年中国必能将这条铁路建好。”于是，他在1889年10月，向海军衙门建议：“储铁宜急，勘路宜缓，开工宜迟，竣工宜速。”也就是说，要先开铁矿办铁厂，炼出钢后再将芦汉铁路一气呵成。
决心既下，张之洞便义无返顾地干了起来。从1889年8月奉旨调动、11月进行交接、12月接任湖广总督，到1890年1月派员分赴湖北、湖南及川黔山陕诸省查勘铁矿，2月设立矿务局（后改叫铁政局），创建汉阳铁厂的工作终于轰轰烈烈地开始了。
就中国历史进程而言，汉阳铁厂无疑是个早产儿。几乎可以肯定，如果没有张之洞的亲自督办，中国近代钢铁联合企业的起步至少要推迟几十年。张之洞坚持将铁厂设在武汉的理由之一正是便于亲自督察。在致海军衙门的电报中，张之洞说：“今择得汉阳大别山（即龟山）下有地一区，长六百丈，广百丈，宽绰有余，南枕山，北滨汉，面临大江，运载极便，气局宏阔，亦无庐墓，与省城对岸，可以时常亲往督察，又近汉口，将来运销钢铁货亦便，惟须填筑地基九尺，则盛涨不淹，沿汉亦须增堤数尺耳，筑地虽贵，较之他处筑闸开河，所省尚多。”也就是说，除便于亲自督察外，张之洞不仅考虑到了交通是否便利，而且考虑到了市场前景和产品的销售。尤其难能可贵的是，张之洞还考虑到了废物的处理，“（铁厂）矿渣、煤渣每年约出三万余吨，除填筑本厂地基外，还可以运往汉阳月湖填筑湖身。”更何况，在选址的当时张之洞已经得到报告，大冶铁矿勘探顺利，而大冶距武汉并不遥远。更为重要的是，芦汉、粤汉铁路即将兴建，一旦建成，那时的武汉水路有长江黄金水道，陆路有纵贯南北的铁路干线，不管是原料的运入还是产品的运出都将不成问题。实事求是地讲，仅就铁厂选址一事而言，张之洞非但没有卤莽，而且极富远见。
张之洞督粤期间，便萌发创办民族钢铁工业之思，并已付诸实施，筹集款项，向外商订购设备。正在进行之中，奉调至鄂。此事本已中辍，但接任粤督者李瀚章为一守旧官僚，无意于续办之洞未竟之业。其弟李鸿章亦不愿乃兄多事，力主将已购设备移鄂。表面上看，李鸿章此举正遂张之洞的心愿，其实背后李鸿章却隐藏着“黄鹤楼上看翻船”的心理。李鸿章深知创建钢铁工业殊非易事，凡承担者便背上一大包袱。他在给乃兄李瀚章的信中，便披露了这种深意：“香复海署，抑扬铺张，欲结邸欢。即准拨部款，恐难交卷，终要泻底。枢廷皆知其大言无实也。”