汉宣帝神爵元年（公元前61年）春天，七旬老将赵充国统兵西征。临行前，宣帝不放心地问他：“将军估计羌人的情况怎样？应该动用多少兵马？”他回答说：“百闻不如一见。军事上的事难以遥测，臣准备先赶到金城，把地图和作战计划一并呈上。西羌不自量力，灭亡指日可待，此事交与老臣，陛下不必担忧。”
赵充国来到金城，汇齐一万骑兵，准备渡过黄河北进。
在战争中，尤其是两军接近时，大军渡河，很可能被敌军乘机掩杀。历史上有许多这样的战例。军队一半渡过河去，刚刚登岸，立脚未稳，自然疏于防御。而另一半留在彼岸或正在河中，彼此不能呼应。此时若被敌军突袭，势必一败涂地。率军渡河而将领毫无戒心，是行军大忌。
赵充国为谨慎起见，当晚派出三支小股部队，在夜色掩护下悄然渡河，上岸后立即安营扎寨，列阵待敌。天明之后，一切准备就绪，这才让主力部队依次渡河。大军刚安顿下来，就有百余名羌军骑兵前来挑衅，在汉军营垒附近往来出没。将士们请求出击，赵充国说：“我军远道而来，人困马乏，不能和敌人周旋。何况这些都是骁勇的骑兵，很难对付。另外不可不防其诱兵之计。跟敌人作战，要以彻底消灭为目的，小利不足贪。”遂嘱咐部下，任其叫骂，不许出战。他又派少量骑兵到前面山谷中望，原来并没有敌兵埋伏。于是连夜率军穿越山谷，向西挺进。事后他对部将们说：“我已经知道羌人不会用兵了。假使他们派几千人扼守山谷，我等焉能顺利通过！”
赵充国为人沉稳庄重，这种性格在战场上体现得最明显。他每次带兵，“行必为战备，止必坚营垒”，行军必经之处，总是要远远地派出侦察兵，仔细地打探敌情，决不让部队遭受任何意外。在大的战略思想上，他主张“贵谋贱战”。在具体的作战部署中，则严格地遵守“先计而后战”这一原则，决不因自己谋划不周密、行动不谨慎而让士兵去做无谓的牺牲。对战争来说，牺牲是必不可免的，正所谓“一将功成万骨枯”，战争本来就是一场灾难。然而赵充国却用他的持重来表露对士兵的爱惜，甚至对敌军，也要以最少的杀伤，换取战争的最好结局。与那些一面与士卒同甘苦，为他们裹创医伤，一面恃勇拼杀、兵过之处血流成河的将领相比，这是多么难能可贵啊！
赵充国带兵到达西部都尉府以后，为了激发部队的士气，天天用酒肉犒劳手下的士兵。士兵们养足了精神，反而因无功受赏深感不安，跃跃欲试，都盼着与敌人开战，好为将军效力。
羌军屡次前来挑战，赵充国却按兵不动，命令部下坚守。这样一来，汉军的斗志越来越旺盛。而并没遭受攻击的羌军，反而士气渐渐涣散了。从抓来的俘虏口中得知，叛军中的一些首领已经后悔了。他们互相埋怨说：“叫你不要造反，你偏不听。现在天子果然派赵将军来了，他已经八九十岁了，老谋深算，用兵如神。如今即使我们想豁出一死找他拼命，能做得到吗！”
赵充国之所以养精蓄锐却不轻易与敌人交战，是有其深远的战略意图的。因为他对羌族人的联盟太了解了。本来势不两立的仇敌，为了得到共同的利益，才握手言和的。如今汉军在一旁虎视眈眈，使他们的奢望化为泡影，本不十分巩固的联盟出现了分解的趋向。而在诸多的羌族部落中，最强悍的是先零羌，这才是汉朝真正的敌人。而罕、开等部落比较弱小，他们是受到先零的胁迫，才与汉朝为敌的。对于他们，可以用安抚的办法加以招降，以达到分化羌人联盟的目的。因此赵充国在一开始就采取以守为攻的战术，静观敌变。
在羌族各部落结盟的时候，统领罕、开两部的靡当儿，派他的弟弟雕库来报告西部都尉，说先零图谋不轨，几天以后先零果然起兵反汉。按理锐雕库本来是友非敌，可是由于他的部族里的人许多被裹胁在先零人中，都尉不问情由，就把雕库扣留下来，当做人质。赵充国来到以后，认为他有功无罪，就派他回去转告各部族首领：“朝廷派大军平定叛乱，只是诛杀真正有罪的魁首。大家与真心叛汉的人划清界线，切勿助纣为虐；自取灭亡。汉天子告知诸位羌人，凡是抓获和斩杀叛逆者，免除罪名。凡杀死有罪的高级首领一名的，赐钱40万，中级15万，下级2万，壮丁3000.杀死他们家属一名，赐钱1000.同时还把他们的妻子财物全部赏赐给他。”赵充国决定先用军事威力和取信于人来招降罕、开及其他胁从者，瓦解叛军的联盟。等到叛军疲惫不堪时，再发兵进攻，将叛军一举击溃。后来的事实证明他的这一对敌策略是正确而有效的。然而就在这时，居于后方的国内君臣在战略问题上与他产生了分歧。是等待战机还是立刻进攻，成了意见分歧的焦点。
朝中上自汉宣帝，下至文武百官，几乎都主张立刻进攻，其中以酒泉太守辛武贤为代表。他在给宣帝的奏书中，指出汉朝军事上的两个不利因素：“地方部队在南部祁连山一带集中驻防，北面空虚，这种形势不能再长期持续下去；汉军的马匹耐不了这里的冬天，驻扎在武威、张掖、酒泉的部队有上万匹战马，都很瘦弱。”进而对赵充国的军事部署表示异议：“有人说到秋冬才进兵，这是敌人在我们境外时方能行得通的策略。如今前提条件已有所变更，敌人在我们境内，时刻都在侵扰着我军，又何必等到又冷又苦的冬季，各种条件都更加不利于我军时才开战呢？”他指陈的这些不利因素，确是实情，赵充国何尝不清楚这些呢？可是，如果仅仅为了暂时的不利而错误地采取军事冒险行动，胜算又比静待战机大多少呢？
辛武贤的战略眼光限于局部，提出了一项近乎于纸上谈兵的作战计划。他向宣帝建议：“应该从现在起就给战马添加精饲料，让它们尽快恢复体力。等到七月上旬气候适宜，给士兵发足三十天的粮食，分别在张掖、酒泉同时出兵，合力攻击鲜水（即青海）附近的罕、开部族。”并乐观地估计这次行动的结果：“敌人把牲畜视为性命，趁他们现在正分散活动，大军分路出击，即使不能彻底剿灭，只要抢夺他们的马匹牛羊，俘虏他们的妻儿老小，就已达到预期目的。到时再发动冬季攻势，仍用优势兵力，敌人必然崩溃。”
辛武贤的作战计划，对宣帝和群臣有很大的诱惑力。宣帝将辛武贤的奏章下发给赵充国，命他和校尉以下熟悉羌族事务的军官广泛讨论。赵充国及长史董通年认为：首先，辛武贤的作战计划不切实际。他想轻率地带着上万人马，分两路从张掖出发，进行千里长途的迂回战。30天的粮食，需要米二斛四斗，麦八斛。此外还有衣甲、兵器，负载如此沉重，战马难以驰骋追敌。纵使辛辛苦苦地跑去，敌人必然会计算我军行进速度，从容撤走，顺着水草丰盛地带，到深山老林中隐伏。倘若尾随深入，敌人就会据守前后要隘，断我粮道，造成我军的重大伤亡。第二，辛武贤对战果估计得过于乐观。羌军举动飘忽，行踪不定，再想夺其牲畜、虏其妻儿，只能是一句空话，绝非上上之策。第三，要塞之兵切不可发。武威、张掖扼守北部要津，山谷通达、水草丰盛，乃兵家必争之地。匈奴与西羌早有勾结，正欲长驱直入。幸而有这些要塞隔绝进入西域的通道，使匈奴无法大举入侵。第四，先击罕、开，极为失策。只有先零才是罪魁祸首，其他部族均受其胁迫。对罕、开，先不计较他们因无知而犯下的过失，不张扬他们的罪过，先行剿灭先零的叛逆，他们自然受到震动，因而生出悔过反善之心。这样就可以饶恕他们，选择称职的、通晓其风土人情的官吏去加以安抚，令其循规蹈矩、诚心归汉，这才是“全师、保胜、安边之策”。
赵充国的意见又被上报到宣帝处，公卿大臣们讨论的结果，一致认为先零兵力雄厚，又倚仗罕、开的帮助才如此嚣张。若不先破罕、开，断其臂膀，则无法压制先零的气焰。公卿大臣们没能站在赵充国的高度去纵观全局，审时度势，只是因循常规，挪用了兵法中“避实击虚，各个击破”的定势。
宣帝在决策时采纳了辛武贤的计策，并拜他为破羌将军，拜乐成侯许延寿为强弩将军，派他们率万余骑兵，按原计划行事。命令赵充国引兵西进，给予声援。同时下诏责备赵充国。
宣帝认为赵充国固执己见，坐失战机，绐敌人喘息机会，拖延战事，使边境军民饱受其苦。命他整装出击，莫再迟疑。
赵充国接到这封责备自己的诏书，却认为将带兵在外，应该根据实际情况坚持自己正确的意见，于是上书谢罪，借机陈述军事上的利害得失。
他首先向宣帝汇报：依照先前的旨意，已经派开羌首领雕库回到部落，向罕、开的羌人宣扬天子盛德，谕告大军将至，汉不诛罕、开，以离间其同谋，如今已收到预期效果。先零首领杨玉率本部4000骑兵和煎巩部族的5000人马，在山林中凭险固守，伺机作乱，而罕羌得知陛下诏示，未有所犯。
然后陈明利害：“置先零，先击羌，释有罪，诛无辜，起一难（仇敌），就两害”。先零想与汉为敌，才与罕、开解仇结约，深恐汉兵一到，罕、开就背叛自己，很想有一次为罕、开解危救难的机会，以加固其同盟。“若先击罕羌，先零必助之”。何况这时敌人马肥粮足，即使出兵，也未必给敌人造成伤害，反而“使先零得施德于罕羌，坚其约，合其党”。敌人同盟一旦巩固，兵多势众，那时候，“诛之用力数倍”，边境在几十年里都安静不下来，想在两三年内解决战事已是不可能的了。
最后，赵充国再一次申述自己的意见：先伐先零，罕、开等部族就会不战而降。到时就算罕、开不降服，过了正月再出兵征讨，既符合计划，又是适当的时机。若立刻进兵，实在没有什么好处。
赵充国怕宣帝心中还有疑虑，就在奏疏中恳切地告诉宣帝，自己“位至上卿，爵为列侯”，蒙天子厚恩，无从报答，如今已活到76岁，早就想奉陛下旨意战死沙场，以换取不朽的英名；一再推迟军事行动，并不是臣有什么顾念，只因“独思惟兵利害至熟悉也”。
前后仅用了七天时间，赵充国就说服了后方的决策者，热心于速战速决的汉宣帝，终于收回成命。
按照原定计划，赵充国率军进攻先零。敌兵屯聚日久，戒备松懈，一见大军临近，便丢弃辎重，打算渡过湟水逃走。由于道路狭窄，羌人急切之间无法尽数通过，赵充自只让部下士兵“徐行驱之”。有部将建议：何不速速掩杀，我军走得太慢了。赵充国提醒部下：“此穷寇，不可迫也。缓之则走不顾，急之则还致死（还致死，意即转过身来拼命）”。结果羌兵拥挤中溺水而死者数百，斩杀与俘虏计500余人。汉军缴获马匹牛羊100000余头，战车4000余辆。
大军到了罕羌属地，赵充国约法三章，禁止军队焚烧村落和在田中割草放牧。罕羌的军民听到这个消息，高兴地说：“汉果不击我矣！”其首领糜望派人来请求说：“希望回到家乡来。”赵充国将此事上奏宣帝，诏书一时尚未下达，糜望就一个人先回来了。赵充国设宴款待他，并让他回去对本部族的人讲明情况。许多将领表示反对，劝阻说；“这是国家反叛，切莫自作主张放他走。”赵充国说：“你们只想照章办事，怕担责任，这哪是忠心为国的主意呢？”话还没说完，诏书就到了，准许糜望按立功赎罪论处。由于宣帝听从赵充国的计策，对罕羌表示了宽容的态度，后来果然未费一兵一卒，罕羌这一支叛军就被平定了。