汉武帝初年的时候，汉武帝从投降过来的匈奴人那里，得知了有关西域（今新疆和新疆以西一带）的情况。他们说有一个被匈奴打败的月氏国，向西迁移到西域一带。
汉武帝想，月氏在匈奴西边，如果汉朝能跟月氏联合起来，断绝匈奴跟西域各国的交往，这不是等于断了匈奴的右臂吗？
于是，他下了一道诏书，征求能到月氏去联络的人。
有个年轻的郎中张骞，觉得这件事很有意义，便自告奋勇去应征。随后又有一百多名勇士应征，其中有个叫堂邑父的匈奴族人，也愿意跟张骞一块儿去找月氏国。
公元前138年，汉武帝就派张骞带着应征的一百多个人出发了。但是要到月氏，中途必须经过匈奴占领的地界。张骞他们小心地走了几天，还是被匈奴兵给发现了，全都做了俘虏。
他们被匈奴扣押了十多年。日子久了，匈奴对他们管得不那么严了。张骞偷偷找到堂邑父，两人商量了一下，瞅匈奴人不防备，骑上两匹快马逃走了。
他们一直向西跑了几十天，历尽千辛万苦，逃出了匈奴地界，进入了一个叫大宛（在今中亚细亚）的国家。
大宛和匈奴是近邻，当地人能听懂匈奴话。张骞和堂邑父便用匈奴话与大宛人交谈起来。大宛人给他们引见了大宛王，大宛王早就听说汉朝是个富饶强盛的大国，听说汉朝的使者到了，非常高兴，后来，又派人护送他们到康居（约在今巴尔喀什湖和咸海之间），再由康居到了月氏。
月氏被匈奴打败以后，迁到大夏（今阿富汗北部）附近，在那里建立了大月氏国。大月氏国王听了张骞的来意，不感兴趣，因为他们不想再跟匈奴结仇。但是张骞毕竟是个汉朝的使者，也很有礼貌地接待了他。
张骞和堂邑父在大月氏住了一年多，没能说服大月氏国共同对付匈奴，只好返回长安。
张骞在外面整整过了十三年才回来。汉武帝认为他立了大功，封他为太中大夫。
到了卫青、霍去病消灭了匈奴兵主力，匈奴逃往大沙漠北面以后，汉武帝再次派张骞去结交西域诸国。
公元前119年，张骞和他的几个副手，拿着汉朝的旌节，带着300个勇士，还有1万多头牛羊和黄金、绸缎、布帛等礼物去西域建立友好关系。
张骞到了乌孙（在新疆境内），乌孙王亲自出来迎接。张骞送给他一份厚礼，建议两国结为亲戚，共同抵御匈奴。
过了几天，张骞又派他的副手们带着礼物，分别去联络大宛、大月氏、于阗（在今新疆和田一带）等国。乌孙王派了几个翻译做他们的助手。
这些副手去了好久还没回来。张骞决定不再等下去了，乌孙王便派了几十个人护送张骞回国，顺便一起到长安参观，还带了几十匹高头大马送给汉朝皇帝。
汉武帝见乌孙人来了，很是高兴，又瞧见乌孙王送的大马，就格外优待乌孙使者。
一年后，张骞生病死了。张骞派到西域各国去的副手也陆续回到长安。副手们把到过的地方合起来一算，总共到过36个国家。
从那以后，汉朝和西域各国建立了友好交往的关系，汉武帝每年都派使节去访问西域各国。西域派来的使节和商人也络绎不绝。中国的丝和丝织品，经过西域运到西亚，再转运到欧洲，后来人们把这条路线称作“丝绸之路”。