公元前100年，汉武帝正想出兵攻打匈奴，匈奴就派使者来求和，并把汉朝的使者都放了回来。汉武帝为了答复匈奴，派中郎将苏武拿着旌节出使匈奴。不料，就在苏武完成了出使任务，准备返回自己的国家时，匈奴上层发生了内乱，苏武一行受到牵连，被扣留下来，并被要求背叛汉朝，臣服单于。
最初，单于派人向苏武游说，许以丰厚的奉禄和高官，苏武严辞拒绝了。匈奴见劝说没有用，就决定用严酷的迫害手段，使其就范。当时正值严冬，天上下着鹅毛大雪。单于命人把苏武关入一个露天的大地窖，断绝提供食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄。过了好几天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放出来了。单于知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节，不忍心杀苏武，又不想让他返回自己的国家。于是决定把苏武流放到西伯利亚的贝加尔湖一带，让他去牧羊，并对苏武说：“等公羊生了小羊，就放你回去。”公羊怎么会生小羊呢？这不过是匈奴想长期监禁他罢了。
苏武孤零零地到了贝加尔湖，唯一和他作伴的是那根代表朝廷的旌节和一群不会生小羊的公羊。日子一久，旌节上的穗子全掉了，但他仍然紧紧地抱在怀中。他常常望着南归的大雁，期盼自己能早日回到汉朝。
一直到了公元前85年，匈奴的单于死了，匈奴发生内乱，分成了三个国家。新单于没有力量再跟汉朝打仗，又打发使者来求和。那时候，汉武帝已死去，他的儿子汉昭帝即位。汉昭帝派使者到匈奴去，要求单于放回苏武。匈奴谎说苏武已经死了。使者信以为真，就没有再提。
第二次，汉使者又到匈奴去，苏武的随从常惠买通匈奴人，私下和汉使者见了面，把苏武在北海牧羊的情况告诉了使者。使者见了单于，严厉地说：“匈奴既然存心同汉朝和好，就不应该欺骗汉朝。我们皇上在御花园射下一只大雁，雁脚上拴着一条绸子，上面写着苏武还活着，你怎么说他死了呢？”单于听后，吓了一大跳。忙向使者道歉说：“苏武确实活着，我们把他放回去就是了。”
苏武出使匈奴的时候，只有四十岁。他在匈奴受了十九年的折磨，胡须、头发全白了。回到长安的那天，长安人民都出来迎接他。他们瞧见白胡须、白头发的苏武手里拿着光杆子的旌节，无不为之感动，都称赞他是个有气节的大丈夫。
■知识链接
歌曲《苏武牧羊》
“苏武留胡节不辱，雪地与冰天，穷困十九年，渴饮雪，饥吞毡，牧羊北海边，心存汉社稷，旄落犹未还，历尽难中难，心比铁石坚，时听塞上，笳声入耳痛心酸。转眼北风吹，群雁汉关飞，白发娘盼儿归，红妆守空帏，三更同入梦，两地谁梦谁？宁海枯石烂，大节定不亏，欲使匈奴，惊心碎胆，常服汉德威。”《苏武牧羊》是一首具有浓郁民族风格的乐歌。产生于民国初年，在二三十年代广为流传。歌曲内容取自古代历史故事——苏武出使匈奴的故事。此曲借用古代题材，寄托了当时人民反帝反封建的爱国主义精神。歌词为长短句，分上、下阕，语言精练，朴实生动，突出了爱国主义思想情感。除第一句引子外，上、下阕曲调相同。中间出现转调，强调了坚定诚挚的爱国决心。此曲以通俗的内容、流畅古朴的旋律，表达了深沉悲壮的思想感情。