西汉
约前205至前202年间匈奴冒顿单于举兵攻月氏，“月氏乃远去”。一部分离开河西走廊向西迁徙，是为大月氏；一部分留在祁连山中，是为小月氏。
前元三年或四年（前177或前176）冒顿单于再次西击月氏，占领了包括河西走廊在内的西部地区。从公元前203～前121年，匈奴浑邪王、休屠王、折兰王、卢侯王、酋涂王等居于河西走廊，今武威地区属休屠王地。休屠王在石羊河西岸（今武威市四坝乡三岔村）筑有休屠城，为王宫所在地。
约前元三年至前元十六年（前177至前164）乌孙与大月氏人西去后，羌族又从湟水流域与祁连山中出来活动。
建元二年（前139）汉武帝派张骞第一次出使西域，目的是联合大月氏共同夹击匈奴。张骞一行百余人，从长安出发，经陇西，过黄河进入河西走廊，被匈奴所扣。元光六年（前129）逃出匈奴地界继续西进。
元朔三年（前126）汉武帝改雍州曰凉州，以其金行，土地寒凉故也。凉州由此得名（《凉州府志备考》·地理卷一）。
元狩二年（前121）汉骠骑将军霍去病率骑兵万余，出陇西，直抵河西。经过几个大的战役，匈奴大败。于是浑邪王杀休屠王，率众四万余降汉。河西地区自此归入西汉版图，西汉王朝开始向河西移民，并通过屯田，逐步开发河西。
元鼎二年（前115）汉武帝采纳张骞建议，欲招乌孙东还居浑邪王之地。经张骞于公元前119年至前115年第二次出使西域时游说，乌孙不肯东还。于是汉武帝决定在浑邪王故地置酒泉郡，后又置武威郡（关于武威设郡时间，史学界众说纷纭，一说元狩二年，一说元鼎二年、元鼎六年，一说地节二、三年等。本志依据《资治通鉴》作此记载。见《资治通鉴》卷二十，汉纪十二），辖十县：姑臧（治所在今甘肃武威市）、休屠（治所在今甘肃武威市北六十里，四坝乡三岔古城）、武威（治所在今甘肃民勤县东北收成乡）、宣威（治所在今甘肃民勤县西南薛百乡）、鸾鸟（治所在今甘肃武威市南古城，一说在武威市新华乡缠山村境内）、苍松（治所在今甘肃武威市东南古浪县附近）、张掖（治所在今甘肃武威市南张义乡）、朴（治所在今甘肃古浪县大靖镇境内）、媪围（治所在今甘肃景泰县芦阳镇附近）、次（治所在今甘肃古浪县西北，一说在古浪县东北土门镇附近）。
元鼎六年（前111）从武威、酒泉郡中分设张掖、敦煌郡（《资治通鉴》卷二十·汉纪十二）。
是年始筑令居以西的长城，经庄浪河（今金强河）谷跨越乌鞘岭，蜿蜒西去。
元封五年（前106）汉武帝置凉州刺史部（《资治通鉴》卷二十一·汉纪十三）。
东汉
建武元年（25）张掖属国都尉窦融，由酒泉太守梁统等推举为河西五郡大将军，统领张掖、酒泉、敦煌、武威、金城五郡。后，梁统调任武威太守。
建武十二年（36）汉光武帝以梁统为太中大夫，姑臧长孔奋为武都郡丞，并以睢阳令任延为武威太守（《资治通鉴》卷四十三·汉纪三十五）。延到任后，除暴安民，兴修水利，以利农耕。并立学官，令属官子弟受业，择其优者而用之。
建武二十七年（51）五月北匈奴遣使到武威郡请求和亲，汉恐南单于疑惧，不许。
建初元年（76）安夷长宋延为羌所杀，以武威太守傅育领护羌校尉，行车骑将军，征羌。
元初元年（114）凉州刺史皮阳（一作皮杨），在狄道攻打先零羌，结果大败，死800余人。（《资治通鉴》卷四十九·汉纪四十一）建光元年（121）八月羌麻奴进攻武威。校尉马贤率兵追至鸾鸟（今武威南），羌人降者数千。麻奴退走湟中。
永和六年（141）三月武威太守赵冲追击巩唐羌，杀400余人，降2000余人，得马、牛、羊等8000余。九月，诸种羌八九千骑进攻武威，凉州震惊。
汉安二年（143）九月以后，凉州部分地区多次发生地震，山谷圻裂，震毁城寺，死者甚众（《资治通鉴》卷五十二·汉纪四十四）。
建宁三年（170）凉州刺史孟佗派任涉率兵500人，与戊己校尉曹宪、西域长史张宴所领之兵合计三万余人，讨伐疏勒，四十余日不能下，引去。
延熹四年（161）羌进攻并、凉二州，校尉段率湟中义从讨之。凉州刺史郭闳欲贪其功，滞留军，使不得进。这时义从所率之军，因久战而恋乡，大部分叛归。郭闳归罪于段，降段为左校，以胡闳代为校尉（《资治通鉴》卷五十四·汉纪四十六）。
永康元年（167）当煎羌4000余人攻武威，段追击于鸾鸟，大破之。
灵帝时（168至189）凉州州治从陇县（今张家川回族自治县）迁治冀县（今甘谷县）。时凉州刺史部管辖十郡、二属国。十郡：武都郡（治所在武都县，即今甘肃西和县南仇沲山东麓。辖境相当今甘肃武都、成县、徽县、西和、西当、康县及陕西凤县、略阳等县地）。陇西郡（治所在狄道县，即今甘肃临洮县南。辖境相当今甘肃陇山以西、黄河以东、西汉水和白龙江上游以北、祖厉河和六盘山以南之地）。金城郡（治所在允吾县，即今青海民和县南古鄯镇北古城。辖境约当今甘肃兰州市以西，青海省青海湖以东的河、湟二水流域和大通河下游地区）。汉阳郡（治所在冀县，即今甘肃甘谷县东。辖境相当今甘肃定西、陇西、礼县以东，静宁、庄浪以西，黄河以南，冢山以北地）。武威郡（治所在姑臧县，即今甘肃武威市。时辖境相当今甘肃黄河以西，武威以东及西大河、东大河流域地区）。张掖郡（治所在角乐县，即今张掖市西北四十里。辖境相当今甘肃永昌县以西，高台县以东地区）。酒泉郡（治所在禄福县，即今甘肃酒泉市。辖境相当今甘肃疏勒河以东，高台县以西地区）。敦煌郡（治所在敦煌县，即今甘肃敦煌市西。辖境相当今甘肃疏勒河以西及以南地区）。安定郡（治所在高平县，即今宁夏固原县。辖境相当今甘肃景泰、靖远、会宁、平凉、泾川、镇原及宁夏中卫、中宁、同心、固原、彭阳等县地）。北地郡（治所在义渠县，即今甘肃西峰市东境。辖境相当今宁夏贺兰山、山水河以东及甘肃环江、马莲河流域）。二属国：张掖属国、张掖居延属国（《后汉书·郡国志》）。
兴平元年（194）六月河西四郡因为离凉州州治太远，很不方便，向朝廷上书，要求别设州。于是，分凉州地复置雍州。并任陈留邯郸商为雍州刺史（《资治通鉴》卷六十一·汉纪五十三）。
建安十一年（206）七月武威太守张猛杀雍州刺史邯郸商，雍州兵围攻武威郡，张猛焚楼自杀。
建安十八年（213）撤销司隶校尉及凉州，以其地并入雍州。
建安二十四年（219）武威颜俊、张掖和鸾、酒泉黄华、西平麴演等，各据其郡，自号将军，互相攻击。一年以后，和鸾杀颜俊，武威王秘又杀和鸾。