他为仕之始可谓卑微潦倒已极，同治二年（1863）一甲三名进士（探花），授编修。但一直到光绪五年（1879），43岁了仍是从五品的一个詹事府闲官——洗马。不过痛苦归痛苦，他一直在努力，知识不断累积，胸怀不断扩大，境界不断提高，为宦之术日趋精巧，等着“一洗凡马万古空”那一天。
好运在光绪六年到来。张之洞因妥当处理四川东乡惨案、午门护军案及提出“中俄伊犁条约十不许”等一系列重要谏奏赢得厚重名声，引得慈禧太后的关注；他的表哥张之万受醇亲王之邀，预备重任官场要职；而最关键的是朝廷里南、北派之争告一段落，北派高扬，擎旗人物李鸿藻回任军机及总署，张之洞所属的清流派人士前进无阻，纷纷扶摇直上。他在光绪六年（1880）二月由逼仄的洗马转翰林院侍讲，五月升侍读，六月授右春坊右庶子；八月转左庶子；到光绪七年（1881）二月，又由左庶子补翰林院侍讲学士，六月升内阁学士，十一月，跳出京师，成为赫赫山西巡抚大员！张之洞内力充实，外援强劲，不到三年，光绪十年（1884）四月因广西中法激战，危机万重，朝廷令他转而署理广东总督，成为地方一等大员。
中法之战，张之洞重新启用老将冯子材，镇南关痛剿法寇，是清朝鸦片战争以来对外作战不多的几次胜利之一。
两广安定后，张之洞将全部精力投向洋务实业，在广州先后建设枪弹厂、造船厂、炼铁厂、电灯公司，并成立了广胜军、开设了黄埔水陆师学堂。
光绪十五年（1889）秋，改授湖广总督。
其实，与张之洞荣辱相伴的，还有一个早在广东时就已开始筹划的大方案——建设一条由京师西南的芦沟桥蜿蜒至湖北汉口的芦汉铁路！此路堪称有清以来的工程之最：全长三千余里，横跨直隶、河南、湖北三省，沿路河流二十六条，总造价预计五千六百余万两。
为让朝廷同意，张之洞去年在两广总督任上，就由其幕友杨锐（戊戌六君子之一）主笔写了一道三千余字的《请缓造津通铁路，改建腹省干路折》，寄往京城。这对正铆着劲鼓捣津通铁路的李鸿章来说，是当头一棒。