耳闻目睹了“庚戌之变”的张居正，对国家的安全和军队的素质极为担心，他从那时起就在谋划着对边防的整顿，发誓一定要使边关安定，人民和睦，尤其是汉族和少数民族的关系问题，更是张居正所关心的问题。
早在隆庆元年（1567），张居正入内阁参政时，蒙古鞑靼首领俺答率军直逼山西中部，北京危在旦夕，尽管后来敌兵在大肆掠夺之后引兵北退，但皇上和大臣均意识到非彻底整顿软弱无力的边防了。当时任内阁首辅的徐阶，工科给事中吴时来上疏推荐谭纶、戚继光驻兵于蓟州，加强北部边防。这一建议马上得到首辅徐阶的支持，但由于新任兵部尚书霍冀对情况并不熟悉，而张居正与吴时来、谭纶、戚继光又都是徐阶所重用的人。这样，在内阁中主持整顿蓟、辽，巩固边防的重任就落到了张居正身上。张居正从整顿边防入手，才正式开始了他酝酿已久的改革事业。
张居正大胆地任用了一批智勇双全的将领，对他们“委任责成”，“信而任之”。因此，“一时才臣，无不乐为之用，用必尽其才”。他所重用的谭纶、戚继光、李成梁、王崇古、方逢时等人，都大显身手，充分发挥了他们的才华和智慧。
当时，北边战守的重心在蓟州。御倭名将谭纶、戚继光主持蓟州防务后，张居正给予大力支持。谭纶提议造筑敌台，张居正立即答复：“昨议增筑敌台，实设险守要之长策，本兵即拟：复行。”谭纶遂与戚继光“图上方略，筑敌台三千，起居庸至山海，控守要害。”
想当初，建立过赫赫战功的抗倭名将戚继光，奉调从浙江北上蓟州，总理蓟州、昌平和保定三镇的防务，担负起守卫京师大门的重任。他从内心里感激朝廷的信任，怀抱着战死疆场的烈烈壮志走马上任了。然而，等待他的却是一片令人揪心的景象：但见烽火台犹如土堆一般，军士中老弱病残，衣衫褴褛。兵器更是刀卷口、枪折尖、弓失箭。更头疼的是那些多如牛毛的文官们，既不懂带兵打仗，又不谙兵法韬略，却总爱对武将们指手画脚，乱出主意。这一切，使他不由连连长叹：“如此景象，焉能御敌？简直是儿戏！”
幸运的是，他上任后强烈要求改革蓟州军备的想法，得到了内阁大学士张居正的赏识和支持。他暗暗庆幸遇上了这么一位可亲可敬的知音。无论他有何计划，只要一封信写到张居正那儿，很快便有答复。还有什么比受人理解和支持更幸运的呢？戚继光在短短的几年里，整编防区，训练新军，一切均按他的计划有条不紊地进行着，使他的军事才能再次得到充分的发挥。戚继光以对倭作战的浙江兵士为骨干，根据蓟州的地理条件和同蒙古骑兵作战的特点，从实战出发，构筑工事，加强军事训练。
天高气爽，晴空万里。蜿蜒起伏的城墙上，雉堞高耸，旌旗飘扬，昔日又低又薄的、形同摆设的旧边墙已焕然一新；每隔百步新筑的敌楼，高出城墙丈余，如同一个个雄壮的哨兵，昂首挺立。戚继光豪情满怀仗剑挺胸地站在山顶，欣赏着自己的防御工事，眼前幻化出一幕幕战斗场面：
狼烟滚滚，刀枪猎猎。敌寇如潮水般汹涌而来，却在这固若金汤的防线面前一触即溃……
不久前，张居正又给戚继光送来亲笔信，告诉他朝廷将派人来检验他练兵的成果。信中特别叮嘱他须妥善安排，说这是幼皇登基后首次派官员出巡，既可向幼皇表忠，亦可令朝野不明之士开开眼界，总之是一次绝好的机会。戚继光十分明白张居正的良苦用心，他自然不能辜负这位新任首辅多年来对他的信任和支持。经过几天的冥思苦索，一个以组织一场军事演习的办法来展示他治军成果的计划终于形成了，他要让张居正放心，让皇上满意。
戚继光就这样常备不懈，励精图治，在他镇守蓟州16年间，这里一直相安无事，边界太平。在整顿边防的过程中，张居正与戚继光私人之间也结下了深厚的友谊。
在辽东方面，张居正任用出身贫寒，但有大将之才的李成梁镇守。从隆庆元年起，李成梁在辽东屡败蒙古土蛮入犯，其后被提为总兵镇守辽东。李成梁镇守辽东22年，先后十次连奏大捷，其武功之盛，是数百年来未曾有过的。
万历三年，辽东朵颜的长董狐狸屡次挑衅，朝廷大臣一片恐慌。这个仗是打还是不打？众说纷纭，莫衷一是。张居正经过再三权衡，果断地提出，此仗非打不可。他认为辽东的那些土蛮向来骄横，他们又想通贡，又不愿称臣，对他们绝不能手软，须以威当先，在威上才可谈恩。况今日辽东远非昔日可比，总兵李成梁骁勇善战，且有戚继光从侧翼钳制。若长董狐狸果真来犯，正可趁机予以重创，打下他的气焰，让他痛定思痛，乖乖就范。这对整个边防之巩固将获益匪浅。他立刻修书，分别致函李成梁、戚继光，要他们加紧侦察巡逻，掌握详情，准备迎敌。半月之后，长董狐狸纠合数万余骑包围了辽阳城，自以为大功告成，殊不知早落入李成梁和戚继光布下的天罗地网之中。一场激战下来，长董狐狸人马死伤过半，尸横遍野，鬼哭狼嚎，长董狐狸左冲右突，惨败而逃。
辽东大捷彻底地灭了敌人的威风，使他们再也不敢进犯了，这样以来，辽东一线太平无事，人民安居乐业，处处一派和平安宁的景象。
在宣化、大同方面，张居正任用王崇古、方逢时镇守。他们修边墙，开屯田，加紧练兵，防御力量大大加强。
在张居正的主持下，经过几年的努力，扭转了长期以来边防败坏的局面。战守力量日益增强，蒙古犯边，逐年减少。
在加强防御力量的同时，张居正积极寻求改善蒙汉关系的门路，他命令沿边将帅，要抓住一切有利时机，积极发展同蒙古少数民族的友好往来，有一线的和平希望，也不要轻易兵戈相见，一切为广大人民的生命财产及生活安宁着想。宣、大总督王崇古屡次派遣同蒙古少数民族有关系的人，深入蒙古内部，发表文告并宣布：番汉军民凡由蒙古投奔汉族地区者，一律以礼相待，接纳安置。这些在蒙古少数民族地区果然引起很大反响，投奔人口越来越多。隆庆四年（1570年），鞑靼土默特部落的汗王俺答、俺答的儿子黄允吉、孙子把汉那吉三代人共同争夺美貌漂亮的女子三娘子。后来，那三娘子被俺答一人独占，其孙子把汉那吉妒火中烧，一怒之下奔赴大同，叩关投降。宣、大总督王崇古和大同巡抚方逢时一面款待把汉那吉，一面上书朝廷，要求借此封贡通市。要不要接纳把汉那吉，在朝廷里出现了严重分歧。张居正主张接纳，认为接纳了把汉那吉是改善蒙汉关系，发展同俺答友好往来的绝好契机。而很多大臣则反对接纳把汉那吉，认为那样必将招来大祸。也有人主张干脆杀掉把汉那吉，以绝后患。在朝廷上下议论纷纷、莫衷一是的情况下，张居正力挽狂澜，一面火速派人嘱咐王崇古说，接纳把汉那吉一事，事关重大，一定要慎重行事，切勿简单处置，坐失良机。同时，张居正又将此事原委以及应采取的对策，报告了皇上，终于使隆庆帝下决心接纳把汉那吉。
接纳把汉那吉后，俺答果然亲率重兵前来索要，致使朝野震动，许多人都惶惶不可终日。不仅原先反对接纳把汉那吉的人认为这下可引来了祸患，就是一般人也都认为捅下了大乱子。这时，张居正一面要王崇古坚持初议，审定计谋，勿为众言左右；一面又给王崇古出主意、想办法，要他开展攻心战术。按照张居正的部署，王崇古立即派遣鲍崇德为使臣出使俺答军中，告诉俺答说他的孙子把汉那吉生活得很好，明朝待他甚厚。接着又说明，把汉那吉不是我们引诱来的，而是他本人仰慕中原文化自动投奔来的。我们对把汉那吉以礼相待，俺答反而兴师问罪，岂非恩将仇报！如若迫使双方开战，则把汉那吉的生死难以预测。俺答听了觉得言之成理，复派使臣至大同。王崇古让把汉那吉穿上红袍玉带与俺答使臣会晤。随后，王崇古又以明朝皇帝的名义表示，愿礼送把汉那吉返回蒙古，把汉那吉十分感动，遂与王崇古洒泪告别。俺答见到其孙把汉那吉在明军的护卫下安全归来后，欢喜若狂，立即决定退兵，并上表称谢，表示今后永不犯边。从此，明朝与俺答终于结束了长期以来的对峙状态和战争局面。
在蒙汉关系改善的基础上，张居正积极主张对俺答实行“封贡通市”，即朝廷封俺答以一定的官爵，定期朝贡、互市，和睦相处。
把汉那吉返回蒙古少数民族地区后，俺答再次请求“封贡通市”。按照张居正的主张，宣、大总督王崇古正式向朝廷建议，对俺答宜实行“封贡通市”，发展友好往来。兵部尚书郭乾以先皇圣训为依据，坚决反对，甚至有人攻击王崇古与俺答有密议，有人说王崇古害怕打仗，所以主张“封贡通市”。许多人认为，讲和示弱，封贡通市，后患无穷。张居正对这种观点，进行了具体的分析，指出现在是俺答乞求“封贡通市”，这与汉代的和亲，宋代之议和是完全不同的。他在给王崇古的信中说：“封贡事乃制虏安边大机大略，时人以媚嫉之心，持庸众之议，计目前之害，忘久远之利，遂欲摇乱而阻坏之。国家以高爵厚禄畜养此辈，真犬马之不如也。”张居正为了支持“封贡通市”，向穆宗隆庆皇帝详细陈述了“封贡通市”的好处，并用明成祖加封蒙古和宁、太平、贤义三王的史实为依据，请求隆庆帝援例实行。在张居正的努力下，终于决定封俺答为顺义王，三娘子也被封为忠顺夫人，规定每年贡马一次，并在大同、宣化等地选定十余处开设互市。俺答的夫人三娘子由于发自内心地仰慕中原文化，愿做治世巾帼，在此后的岁月里，尽意协助俺答共守边界安宁，制止那些尚武之徒的烈性。由此深得蒙汉两族人士的尊重。每逢她生日之际，宣、大总督和大同巡抚都邀她欢宴，以示祝贺。这样一来，双边关系日益密切和好，蒙汉人民如同一家，共享太平盛世。
“封贡通市”的实行，有力地促进了蒙汉两族社会经济的发展。蒙古的金银、马匹、牲畜、皮裘、木料等物，源源不断地流入内地；中原地区先进的生产技术、生产工具、种子等，亦在蒙古地区广泛传播开来，使大片荒野变为良田。开矿、冶炼以及各种手工业技术，都迅速发展起来。
张居正通过重用英勇善战的将帅，整顿边防，加强战守，改变了正统以来边防日益废弛的局面；通过重用足智多谋的边帅，改善蒙汉关系，改变了自明朝开国以来一直与蒙古少数民族所处的敌对关系和战争状态，发展了两族之间的友好往来，促进了我国多民族的统一国家的形成和发展。如果说，洪武和永乐年间，是用以攻为守的策略保证了北部边防稳固的话，那么，自张居正改善蒙汉关系以后，则是以和睦修好保证了北部边界的安定。这是完全符合历史发展趋势和各族人民共同愿望的。张居正整顿边防，改善蒙汉关系的重大改革，是以其丰硕胜利的果实，载入史册的。