公元前100年，汉武帝派遣苏武率领一百多人，带了许多财物，出使匈奴。不料，就在苏武完成了出使任务，准备返回自己的国家时，匈奴上层发生了内乱，苏武一行受到牵连，被扣留下来，并被要求背叛汉朝，臣服单于。
最初，单于派人向苏武游说，许以丰厚的俸禄和高官，苏武严辞拒绝了。匈奴见劝说没有用，就决定用酷刑。当时正值严冬，天上下着鹅毛大雪。单于命人把苏武关入一个露天的大地窖，断绝食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄。过了好几天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放了出来。
单于非常敬重苏武的气节，但又不想让他返回自己的国家，于是决定把苏武流放到西伯利亚的贝加尔湖一带，让他去牧羊。临行前，单于召见苏武说：“既然你不投降，那我就让你去放羊，什么时候公羊生了羊羔，我就让你回到中原去。”
苏武被流放到了人迹罕至的贝加尔湖边。在这里，唯一与苏武作伴的，是那根代表汉朝的旌节和一小群羊。苏武每天拿着这根旌节放羊，心想总有一天能够回到自己的国家。这样日复一日，年复一年，旌节上面的装饰都掉光了，苏武的头发和胡须也都变白了，单于仍然没有放他回国的意思。
苏武在贝加尔湖，牧羊达十九年之久。十几年来，当初下命令囚禁他的匈奴单于已去世了，就是在苏武的国家，老皇帝也死了，老皇帝的儿子又继任皇位。这时候，新单于执行与汉朝和好的政策，汉朝的皇帝汉昭帝立即派使臣去接苏武回国。
但匈奴却说苏武已经去世，汉朝使者经过多方查访，终于得知苏武依然健在，于是扬言说，汉朝的天子在上林苑中射到一只大雁，雁的脚上系着帛书，帛书中清楚地写着苏武在北方的沼泽之中。单于听到这个消息，只好把苏武等人送还汉朝。
在昭帝始元六年，即公元前81年，苏武终于回到了长安。