汉宣帝时，西羌族与匈奴联合，侵入汉地。公元前61年春，汉宣帝任命赵充国为将，率骑兵万余攻击羌人。为了防止羌人阻击大军过河，赵充国命三名军校乘夜先悄悄渡河，在对岸扎营，再指挥大军依次渡河进驻。
正在这时，突然来了数百骑羌兵围绕着汉军大军来回奔驰，口中还“嗷嗷”乱叫。诸将见羌兵少，纷纷请命出战，要将这些羌兵撵跑，免得其扰乱汉军渡河。但赵充国认为，汉军长途跋涉，不可追逐此敌，消灭敌人应以全歼为上，不要贪小失大。同时，他认为这些羌兵骑术高超，如果追赶，必中其诱兵之计。因此，赵充国对这些羌兵的挑逗引诱置之不理，仍然镇定地指挥自己的部队加紧渡河。事后探马来报，离汉军30里有一座绵延起伏的山脉，那里埋伏着万余羌兵，来挑战的少数羌兵正是想通过挑逗，诱使汉军追击入伏。结果，由于赵充国沉着机智，以静待哗，使敌人无功而返。
汉军全部渡河之后，赵充国对羌人作战始终采用稳扎稳打，步步为营的战法。首先派出间谍进行广大范围的深入侦察，洞悉敌情，然后才行军，以防止遇伏。同时要求部队保持高度警惕，行军途中随时随地准备战斗。所宿营垒，也要求必须十分坚固。汉军稳步推进到金城（今甘肃省兰州西北）后，羌兵再三挑战，汉军坚守不出。
为了摸清羌兵情况，减少作战的损失，赵充国派遣了许多间谍深入羌人居住地区。原来，羌分先零、罕、开三部分，前者与后二者有仇。赵充国运用策略，对他们进行了分化瓦解。他对罕、开两部分进行政治安抚，集中兵力部署对先零进行军事打击。先零见汉军长期坚壁不出，就渐渐失去了警惕。6月初，赵充国率大军突袭先零驻地。先零毫无戒备，一触即溃，仓皇逃遁，淹死于湟水者数百，投降与被杀者千余。汉军缴获车四千辆，牛羊十余万头。
汉军进抵罕、开两部的属地，赵充国就下令禁止烧杀。罕、开二部的羌人感恩，遂降汉军。秋天，又有万余羌人在赵充国怀柔政策感召下降汉。赵充国又罢骑兵，兴屯田，“益积蓄”，“省大费”，以待羌敝。第二年秋，先零部内部起了纷争，有人刺杀首领，率四千多人降汉。赵充国平羌大获全胜。