光绪二十一年（公元1895年），张之洞再次上奏朝廷，请求修建卢汉铁路。他提议成立铁路总公司，向南洋华侨招股，又推荐盛宣怀为铁路督办大臣人选。由于经费短缺，张之洞向比利时借款一亿一千二百五十万法郎。光绪二十四年至二十八年（公元1898年～1902年），卢沟桥至保定段，汉口至信阳段先后通车。光绪三十一年（公元1905年），卢汉铁路全线贯通，包括卢沟桥至北京，总长一千二百公里。清廷便派张之洞和直隶总督袁世凯共同验收，并改称京汉铁路。
甲午中日战争以中国的惨败而告终。以此为契机，军制改革成为朝野议论的中心。张之洞屡次向朝廷上疏，请求仿照东西洋各国，用新式武器装备军队，并运用近代军事原理训练、组建新型军队，以逐渐取代绿营、防营等旧式武装。光绪二十一年（公元1895年）十一月，张之洞在暂时代理两江总督期间，率先编练“江南自强军”。该军与朝燏芬于天津小站编练的“定武军”同为中国近代最早的新式陆军。自强军训练不久，已呈现出完全不同于旧式军队的崭新气象。
《辛丑条约》签订后，张之洞又聘请日本教习，仿照日本军制进行训练，并且扩充了新军的编制，总计九千五百余人。张之洞训练的三支新军是清末除守卫京师的北洋六镇以外最强大的新军。由于治兵有方，清政府命令长江流域各省选派武将到武昌考察湖北新军的练兵之法，回去仿照其实行。张之洞还和袁世凯共同摸索出一套具有中国特色的练兵方法，名曰中国操典。
四、效忠晚清
光绪年间（公元1875～1908年），深受压迫的海南黎族人民不断举行武装反抗。张之洞上奏朝廷，请求派大员剿办琼州客黎各匪，并派总兵刘城元率兵数千人赴琼剿匪。但由于不熟地形，没有支援，加上瘴疠太盛，刘成元无功而返。
张之洞总督在办公清随后张之洞又命冯子材带领二十营的官兵，与总兵林长福、知府冯相华等共同渡琼剿匪。张之洞针对此次进兵确定了“以黎攻黎”、“剿抚兼施”等方针。冯子材、林长福亲率清兵一万余人，加上士勇、团练，步步进逼，将匪军营寨逐一攻破。此次剿匪行动，清军先后打死四百余人，“就地正法一百余人”，“黎人就抚者八万余人”。
张之洞在冯子材剿灭海南岛的匪军后，立即开始了大规模的安抚、治理工作。1887年2月他亲自制定“抚黎章程”十二条，目的是使全岛汉黎各族人民谋生立业，使海南岛的经济得到稳定发展。最值得称道的是，张之洞命令在海南岛上开通大道十二条，促进了当地经济的发展。同时，张之洞还命令在海南岛加强防务。
“百日维新”期间，张之洞的态度是矛盾的，因此他对光绪帝下发的许多谕旨都采取了敷衍、搪塞、抗拒、抵制的态度。
“戊戌政变”发生后，张之洞迅速顺应慈禧的意旨，对两湖地区的维新变法运动进行了镇压。并且他将湖南的南学会解散，将维新派设立的保卫局改为保甲局，发表声明大肆攻击维新派。
张之洞在戊戌变法时期的“权变”，或者说是投机，使自己的声誉受到极大损害，声名与日俱下。
对于义和团的反帝爱国运动，张之洞则主张坚决镇压。他先后镇压了湖北天门县、荆州府等地人民冲击并焚烧教堂和医院的行动。他还联合长江沿岸各省上奏朝廷请求力剿“邪匪”，严禁暴动，安慰使馆，致电各国表示道歉，保护外国人在华势力，与人民为敌。
光绪二十六年（公元1900年），中国政局出现了错综复杂的局面。唐才常等人和清军部分官兵组织自立军，准备在安徽、湖北、湖南几省起义，建立君主立宪的“新自立国”，使光绪帝复辟。他们还曾劝说张之洞，准备拥戴他建立“东南自立之国”。张之洞对此并未立即表态。在慈禧太后的支持下，七月，张之洞便在武汉逮捕并杀害了自立军首领唐才常等二十余人。
五、近代教育的奠基者
张之洞从小接受的是正统的儒家教育。他认为要维护清王朝的统治秩序，就必须注意选拔“端品行、务实学”、“砥砺名节”的人才，并加以培养和任用。
张之洞接任湖北学政以后，对考试方法、考试内容进行了一定的变革，允许学生各尽所长，以提拔有真才实学的人。
张之洞在湖北的十余年间，在湖北地区创立了比较完整的、配套的近代教育体系。这是他的教育思想在一地的实验。光绪二十八年（公元1901年）十月，张之洞总结他以往办学的经验，向朝廷上《筹定学堂规模次第兴办折》，提出在全国范围内兴办各类学堂，包括师范、小学、文普通中学、武普通中学、文高等学堂、武高等学堂、方言学堂、工学堂、省外中小学、蒙学等。张之洞还编制了《奏定学堂章程》，经清廷批准后，在全国范围内推行。这是中国近代第一个以法令形式公布的学制，时称“癸卯学制”。该学制把普通教育分为初等、中学、高等三级，修业期长达二十五年。与此并行的还有师范教育和实业教育，是现代教育学制的雏形。
光绪三十一年（公元1905年）九月，张之洞奏请停止科举，以兴学校。清政府批准其奏请。从第二年开始，所有乡试、会试及各省岁考一律停止，一切士子皆由学堂出身，结束了一千三百多年的科举制度。
张之洞在创办新式教育方面的倡导和努力，客观上促进了资产阶级新文化的传播。
张之洞也成为中国近代教育体系的奠基者。
六、国运尽、老臣逝
清末十年间，国内各种矛盾层出不穷，资产阶级民主革命浪潮一浪高过一浪，清王朝已无可奈何地跨上了覆灭的快车。在此大厦将倾之时，年逾古稀的张之洞入阁拜相，在风雨飘摇的晚清政局中走完自己的生命历程。
张之洞到北京后，竭力为清政府出谋划策。为了应付日益高涨的革命形势，他面奏慈禧太后提出“化除满汉吩域”。他说：“欲御外侮，先靖内乱，探原扼要，惟有请颁谕旨布告天下，化除满汉吩域。”这一建议被清廷采纳，清廷便下诏宣称“满汉平等”。
张之洞在生命的最后关头，仍不遗余力地调和满汉之间的矛盾，但是他也无力回大。
清政府为了维系其统治，拉拢资产阶级，欺骗全国人民，宣布实行“预备立宪”。出国考察各国宪政的五大臣回国后，征求张之洞的意见。他复电说：“立宪事关重大，如将来奉旨命各省议奏，自当竭其管蠡之知，详细上陈，此时突不敢妄参末议。”其遮掩回避的态度毕现。
张之洞是抱着对慈禧太后的知遇之恩的感激之情、拯救清朝颓势之志才进京入阁的，又以老成持重的心态，谨言慎行，态度暧昧。作为一个老臣，他针对******奕和袁世凯的专权，进行过抗争；对于载沣之流的倒行逆施，也曾不遗余力地加以劝说。但是，清王朝已经处于土崩瓦解的境地之中，纵使张之洞具有盖世的奇才，也无力回天了。
宣统元年（公元1909年）六月，张之洞肝病发作，医药无效，仍强撑病体处理政务。当时载津等皇亲贵戚将政权、军权揽于一身，张之洞固争，但载沣不接受。张之洞因此更加抑郁，病情则进一步加重。摄政王载沣亲临探视。载沣走后，张之洞长叹道：“国运尽矣！盖冀一悟而未能也。”张之洞于宣统元年（公元1909年）十月四日亥刻辞世，享年72岁。清延赐谥号“文襄”。