中法战争一爆发，清朝统治者内部就出现了两种声音：一派是以李鸿章为首的主降派，主张“不可衅之我开”，“决不可与欧人轻言战事”等。另一派是面对法国咄咄逼人的侵略气焰，以左宗棠、张之洞等人为首的抵抗派，力主坚决回击法国的侵略。张之洞是当时朝中较为系统地提出抗法战略策略的人之一。早在他任山西巡抚时就上书提出了“争越、封刘、战粤、防津”的战略策略，“争越”就是出兵越南，抗击法军；“封刘”就是对活动在越南北部的刘永福率领的“黑旗军”许以击退法军，收复失地的重任，“即封以越南世守”，授其官职，资助饷械，鼓舞其士气，使之能大建奇功。“战粤”就是命令两广督抚和将领做好抗法作战准备。“防津”就是加强天津、烟台、旅顺等地防卫，阻止法军从海上进犯，确保北京安全。
1883年12月，法军司令孤拔率军进攻驻扎在越南境内的清军和黑旗军，中法战争爆发。由于清廷和战不定，导致前线清军没有做好应战的准备。桂军、滇军赴越援助接连失败，形势危机。就是在这种情况下，慈禧太后认为“非之洞不能担任此危急时期的封疆重任”。1884年5月，张之洞从山西巡抚调任两广总督，防御边疆。张之洞上任不久，法军攻陷台湾基隆、福建马尾，福建水师全军覆灭，法军正欲以海战之威大举进攻两广地区。张之洞审时夺势，积极备战，制定出在两广抵御侵略的战略大计，并上报朝廷：“欲牵制法军，必先助越南，助越南则以重用久居越南之刘永福为上计，并请派现在乞假在闽之吏部主事唐景崧募兵四营出关，与刘永福所部合军御敌。由粤筹助饷银及军械以充实力，必能有功”。最后朝廷采纳了张之洞的建议，使他在后来的抗法斗争中贯彻了这样一个正确的战略方针，为后来取得镇南关大捷奠定了基础。
1884年8月，清朝政府在舆论的敦促下被迫对法宣战。张之洞团结两广官兵，积极筹款备战。“虚已礼下，推诚共事，统帅既和衷无间，诸将莫不同命”；“妥善处理各派系的关系，从而使两广防务得以巩固，为抗法斗争的胜利奠定了基础。‘为国为民，不分省内省外’”。正是在张之洞的协调统一指挥下，两广清军破除了地域之见，派系之分，空前团结一致，增强了清军的防务能力。张之洞不仅关注两广防务，还筹款500万两白银支援福建、台湾、云南等地的抗法军队。张之洞在他托名弟子所作，实为他本人所撰写的《抱冰堂弟子记》中回忆当年在中法战争中的运作情况：“在粤，因法船踞台北，乃倡议奏请攻越南以救台湾，为围魏救赵之计，招回黑旗刘永福为我用，得旨俞允。乃议分三路攻之。岑襄勤滇军攻临洮府，刘唐攻宣光，粤军攻文渊州一路。助滇桂及刘永福、唐景崧之饷银军械，并助台湾饷；滇二百万，桂二百万，刘唐四十万，台湾四十万。”1884年9月，张之洞为支援台湾刘铭传筹集饷银2万两，洋枪1400支，子弹52万颗，火药600桶，终因法军封锁，只送去了部分饷械。从以上角度看，张之洞对中法战争的全局产生了重要的影响，对各地抗法战争起到了支援、协调的作用，使两广地区抗法活动在认识上得到了统一，将帅间得到了空前团结，抗法队伍的战斗力得到了加强和提高，为中国取得中法战争的局部胜利起到了关键作用。
黑旗军的首领为刘永福（1837—1917），广东钦州人。太平军起义时，他聚众参加了广西天地会起义，因他率领的这支武装用七星黑旗为军旗，被称为黑旗军，后来在清军的围剿下，刘永福率部退至越南境内。法国侵略越南时，黑旗军应越南阮氏王朝邀请，配合越南军队先在河内城郊大败法军，打死法军头子安邺；后在纸桥大战中击毙法军司令李维利。黑旗军从此在越南军威大振。刘永福被越南朝廷封为三宣提督。在中法战争中，张之洞提出“牵敌以战越为上策，图越以用刘为实济”的战备方针，积极支助黑旗军。具体做法有：一是改变朝廷借法军之手消除黑旗军的态度，以民族大义为重，充分肯定黑旗军的抗法功绩，主张承认黑旗军的合法地位。在张之洞的努力下，清朝政府授刘永福为“记名提督”，陆续拨给黑旗军饷银7万两。
二是大力荐举唐景崧新组粤军，开赴云南，联络黑旗军首领刘永福共同抗法。唐景崧贯彻张之洞的战略思路，密切配合刘永福的军队，最终取得了临洮大捷的辉煌战果。
三是筹款支助。在朝廷支助黑旗军的同时，张之洞也积极筹款，“只半年里，张之洞支助黑旗军白银15.5万两，充足的军费饷械大大提高了黑旗军的战斗力，此举使得张之洞‘决战于越南’的策略得以实施”。从而使黑旗军在中法战争中发挥了不可代替的作用，也为后来中越边境大败法军奠定了基础。
冯子材（1818—1903），广东钦州人，先后任广西、贵州提督。因参劾广西布政使徐延旭而受到排济，告老还乡。中法战争爆发后，张之洞力排众议，起用老将冯子材，坚持认为“冯虽老，未闻衰；旧部多，成军易；由钦往，到越速；在越久，水土习；用土人，补遣便；将才难得，节用取之”。奏请朝廷对冯委以重任。同时发函邀请冯子材出山组军参加抗法。正是在张之洞的力荐争取下，朝廷任命冯子材为帮办广西军务，负责指挥广西前线抗法战争。与此同时张之洞还为冯军配备了大量军械，“短短数月内，张之洞筹拨广西冯子材等各军军饷达200万两”。从而使开赴前线的冯子材军队饷械充足，具有较强的战斗力。
1885年初，法军进攻谅山，谅山清军不战而退，法军乘机进攻中越边境的重镇——镇南关，形势万分危急。这时张之洞授予冯子材镇南关前线军事指挥权，全权负责抗法事务。冯子材对张之洞的信任十分感激，他团结将士，精心准备，决心为国捐躯，打退法军，收复镇南关。1885年3月23日，壮烈的镇南关战役打响，冯子材的军队准备充分，指挥得当，年近七旬的冯子材身先士卒，奋勇杀敌。法军全线崩溃，终于取得了鸦片战争以来中国人民对外战争中的第一次胜利。镇南关大捷在当时国内国际都产生了很大的影响。考察镇南关大捷，与张之洞运筹帷幄、点将用人不无关系。镇南关大捷后，朝中以李鸿章为首的主和派与法国签订了《中法新约》，使中国不败而败。张之洞对此深恶痛绝，但却无能为力，只能仰天长叹：“庸臣误国，一至于此”，“赫德不去，是我国的大害”。