卫青、霍去病打败匈奴以后，双方停战了几年。这时，匈奴已经失去大规模进犯中原的实力，于是表示要和汉朝和好，实际上还是想借机进犯中原。
公元前100年，匈奴觉察出汉朝又有出兵的迹象，便派使者来求和，还把汉朝的使者都放回来了。汉武帝为了答复匈奴的善意，派中郎将苏武持旌节，带着副手张胜和随员常惠，出使匈奴。
苏武到了匈奴，送回汉朝以前扣留的匈奴使者，献上礼物。在等单于写个回信让他回去的时候，发生了一件意外的事儿。
原来，以前有个汉人使者叫卫律，在出使匈奴后投降了匈奴。单于特别器重他，封他为王。
卫律有一个部下叫虞常，对卫律很不满，他跟苏武的副手张胜是故友，虞常和张胜在匈奴见了面，就暗地跟张胜商量，想杀了卫律，再劫持单于的母亲，逃回中原去。由于虞常办事不够严密，泄露了计划，被单于抓起来，交给卫律去审问。
事情发生后，张胜害怕了，才把虞常跟他密谋的经过告诉了苏武。
卫律审问虞常，用尽了各种酷刑。虞常经受不住折磨，把和张胜密谋的事供了出来。因为张胜是苏武的副使，单于命令卫律去叫苏武来受审。
苏武对常惠等人说：“我们这次出使匈奴，是为了汉朝与匈奴和好。如今我出庭去受审，使汉朝受到侮辱，我还有什么脸面回到汉朝去呢？”说着，拔出佩刀向自己身上砍去。卫律急忙把他抱住，可是苏武已经把自己砍成了重伤，血流如注，晕过去了。
单于暗暗佩服苏武是个有骨气的人，他希望苏武能够投降，像卫律一样为他效劳。他每天都派人来问候苏武，想要软化苏武，劝他投降。
后来，卫律奉单于之命，用尽了威胁利诱的手段，都不能使苏武投降，就只好回报单于。单于听说苏武这样坚定，便更希望苏武投降。
他下令把苏武关在一个大地窖里，不给饭吃，不给水喝，想用饥饿来迫使苏武投降。但是，意志坚强的苏武却毫不动摇。
匈奴单于实在拿苏武没有办法，就只好命令把苏武送到北海边上（前苏联西伯利亚贝加尔湖一带）去牧羊。单于对苏武说：“等公羊生了小羊，就送你回汉朝去！”公羊怎么能生小羊呢？单于的意思很明白，他是决意不放苏武回汉朝了。
北海这个地方，终年白雪皑皑，荒无人烟，连鸟兽也很稀少。苏武饿了，就掘取野鼠洞里的草籽来充饥。过了不久，单于又派人来劝苏武投降，苏武依旧坚决地予以拒绝。
每天，苏武一面牧羊，一面抚摸着出使时汉武帝亲手交给他的旌节。日子长了，旌节上的毛都脱落了，苏武还是紧紧地抱着那根光秃秃的旌节，艰苦地度过了漫长的岁月。
一直到了公元前85年，匈奴单于死了，匈奴发生了内乱，分成三个国家。这时候，汉武帝已经死了，他的儿子汉昭帝即位。汉昭帝派使者到匈奴打听苏武的消息，匈奴谎称苏武死了，汉朝使者也就相信了。
后来，汉使者又去匈奴，苏武的随从常惠当时还在匈奴。他买通匈奴人，私下和汉使者见了面，把苏武在北海牧羊的情况告诉了使者。使者又惊又喜，他想出一个主意，见了单于，他严厉地责备说：“匈奴既然有心同汉朝和好，就不应该欺骗汉朝。我们皇上在御花园里射下一只大雁，雁脚上拴着一条绸子，上面写着苏武还活着，而且在北海牧羊，你怎么说死了呢？”
单于听了，吓了一跳，他还真的以为苏武的忠义感动了飞鸟，连大雁都代他传达消息呢。他向使者边道歉边说：“苏武确实还活着，我们马上就放他回去。”
苏武到匈奴的时候才40岁，在匈奴遭受了19年的摧残折磨，胡须、头发全白了。回到长安的那天，长安的百姓都出来迎接他。他们看见白胡须、白头发的苏武，手里还拿着光秃秃的旌节，没有一个不受感动，说他真是个有气节的大丈夫。