汉武帝从西域回来之后，心灵震撼很大，首先，他认为西域地大物博，是有财富的地方；其次，他认为那里人野蛮，公主们过去生活一定会受尽苦难。于是他暗自决定：为了不让女人们成为汉匈战争中的牺牲品，自己将来当皇帝，一定要在西域立威。
公元前141年，刘彻正式登基，史称“汉武帝”。坐在未央宫中，汉武帝首先想到的是北方强大的敌人匈奴国。长期以来，汉朝政府对匈奴国忍气吞声，军事交 锋中总是处于劣势。时间不久，汉朝军士在战场抓来几个匈奴士兵。汉武帝很好奇，决定亲自审问。这些匈奴来的俘虏见汉武帝威严，且有海纳百川的胸襟，对自己 很宽仁，于是就跪地说道：“原来敦煌以东、祁连山以西有个大月氏国，他们也非常强大，但不擅马战，并我们匈奴人打得大败，就是他们的国王也被我们杀了。匈 奴人把国王的头砍下来，把国王的妃子全部抢掠带走，大月氏人受到极大的侮辱，被迫逃亡西域，与匈奴人有不共戴天之仇，很想找个强大的盟友一起来将匈奴人打 败”。
汉武帝一听，认为是很好的建议，如果能联络到西域的大月氏，共同攻击匈奴人，那就是东西夹击之势，匈奴人再强大也会战败的。汉 武帝开始酝酿这一计划。但是，他很难寻找到一位出使西域的人才。当时，汉朝百姓会西域一无所知，加上大月氏在匈奴国以西，途径匈奴地界十分危险，非果决坚 毅之人不能胜任。为了找到最优秀、最合适的使者，汉武帝下诏，全国发告示，搜寻有识之士。告示下去很长一段时间，没人前来应招，汉武帝很着急。
一天，大汉朝廷地方上的一个郎官，名叫，看到告示之后，认为出使西域关系到大汉朝的未来前途，非同小可。他抱着一腔爱国热情应招。当天，汉武帝亲自 召见了他，通过一番面试和对话，发现张骞的确是个出使西域的人才，于是就拨付一百多人的车队给他，其中有一个向导——匈奴人堂邑父。后来，堂邑父成为张骞 出使西域的得力助手。
公元前138年，张骞通过层层审核，最终带着一百多人的车队，站在长安城西门，在汉武帝和群臣的惜别之下，准备 像西域的大月氏国出发。起步之前，汉武帝亲自为张骞整理衣冠，并对他轻轻数语，嘱咐他此行的重要性。很快，张骞等人浩浩荡荡地出发了。队伍出陇西，刚刚进 入匈奴地界，即被匈奴骑兵捕获。由于队伍中金银财富过多，引起匈奴单于的怀疑。
张骞等人被送到单于面前，先是一顿严刑拷打，逼迫张骞说出了此行是为了寻找大月氏，并与之通商。单于起得半死，大声嚎叫道：“大月氏在匈奴北面，汉朝在南面，你们怎么能派使者与大月氏通商？如果我要通过汉朝地界，与南方的南越通商，你们答应吗？”
由于当时汉匈两国关系尚好，单于就没有杀害张骞等人，而是将分开监押。通过观察和了解，单于发现张骞是个博学多才之士，匈奴国目前奇缺这样的人才，于是 就想尽办法拉拢张骞，甚至为他配了一房匈奴妻子。但张骞始终保存着离开长安时汉武帝给他的旌节，没有忘掉大汉朝天子所赋予他的使命。
转眼之间，十年时间过去了。张骞在匈奴娶妻生子，已有一个家庭。匈奴人对他的警惕已放松很多。某日，张骞寻到一个难得的机会，与堂邑父商量，秘密从匈奴地 面上奔跑出来。他们没有目标，只知道向西奔驰，因为传说中的大月氏就在西方。一路奔跑，张骞进入一个城堡中，打听才知，这是大宛国（今中亚细亚）。大宛国 王早就听说神奇的东方有一个富庶的汉帝国。边将将张骞等人带来，说明身份，国王惊喜异常，热情地招待了他们，并问道：“你打算到哪里去？”张骞回答道： “我奉汉王的命令，出使大月氏国，有重要事情联络商量，路上被匈奴人扣留十余年，现在才逃出来。要是大王能派人送我去大月氏国，将来我回到汉朝，我们的皇 帝一定会重谢的，那时你的金银财宝将多得难以形容。”大宛王早就仰慕东方富庶之地，为了给自己带来点好处，就做了个顺水人情，派人将张骞送到康居国（今巴 尔喀什湖与威海之间的地方），又从康居辗转来到大月氏国。
大月氏国国王被匈奴人杀害之后，他的正室妻子继承了王位，在大夏（今阿富汗 北部）附近又重新建立了大月氏国。这个地方比从前的地方的土地更肥沃，物产更丰富。新女王满足于现状，不想再与强悍的匈奴人作战，让百姓再次陷入颠沛流离 的困难。张骞见到大月氏女王，并未说服她与汉朝联盟，攻打匈奴人。为了有个靠山，张骞还游说了大夏国王，也未成功。一年之后，张骞只好无功而返，途径匈奴 地界时，又被抓获。
一年之后，匈奴国内部发生内乱，趁此机会，张骞带着妻子、孩子，以及堂邑父等人死里逃生，奔出匈奴国。元朔三年， 张骞等回到长安。汉武帝亲自接见了他，并对他说道：“你与朕一别十多年，这么长时间，不忘使命，实在令朕感动啊！”确实，张骞出使西域一共用去十多年时 间，虽然未完成汉武帝交给他的任务，却带回了大量珍贵的关于西域风土人情的资料，为以后汉朝的发展提供了有力的知识储备。在《史记》中，对张骞出使 西域予以了极高的评价，称他的西行为“凿空”。为表彰他锲而不舍的精神，汉武帝封其为太中大夫。
张骞将在西域的见闻全部汇报给汉武帝，汉武帝大开眼界，欣喜万分。几年之后，汉匈战争爆发，大将军率军出征匈奴，汉武帝下令张骞随性。由于张骞对匈奴地面水草山川、分布了如指掌，使得卫青大军未受到一点饥渴，大胜而归。汉武帝高兴，遂封张骞为博望侯。
公元前119年，卫青、基本将匈奴主力部队消灭殆尽，匈奴人被迫向沙漠更北的地方迁徙。这时，长期受匈奴人制约的西域各国纷纷站出来，与匈奴人对 抗，并停止每年向匈奴人进攻纳赋，匈奴人狼狈不堪。纷纷摆脱匈奴人的蹂躏之后，西域各国开始对汉朝产生敬慕之情，纷纷表示愿意与东方大国汉王朝建立外交关 系。在这种情况下，汉武帝果断决定，派张骞第二次出使西域，联络各国，以实现他万国来朝的梦想。