汉武帝派卫青、霍去病打败了匈奴，又派张骞通西域，都还顺利。匈奴逃到漠北，休息了好几年，表面上又要跟汉朝和好了。单于把被扣留的使者放了回来。汉武帝就派中郎将苏武送匈奴的使者回去。
但是，苏武到了匈奴，单于对苏武不讲礼貌。苏武没想到，以前有个汉朝的使者叫卫律，投降了匈奴，匈奴封他为王。卫律有个副手叫虞常，见卫律替匈奴出主意侵犯中原，老想杀了卫律，逃回去。他跟苏武的副手张胜本来是朋友，就暗地里对张胜说，准备把卫律杀死。
张胜愿意帮他暗杀卫律。谁知道泄漏了消息，单于叫卫律审问虞常，张胜害怕，把虞常跟他说的话告诉了苏武。苏武着急了，堂堂使者，如果像犯人一样被匈奴审问，会给朝廷丢脸，他就拔出刀来向脖子上抹去。张胜和另一个副手常惠连忙夺下刀，没让他死。单于叫卫律劝苏武他们投降。
苏武一见卫律来叫他投降，又拔出刀来向脖子上抹去。卫律慌忙把他抱住，苏武已经倒在地上，浑身是血。卫律叫人去请医生。常惠他们哭得不成样子。医生给苏武灌了药，让他醒过来，然后给他涂上药膏，扎住伤口，把他抬到营房里去。张胜就被关到监狱里去了。
单于早早晚晚派人去问候苏武，还是叫卫律想办法劝他投降。卫律想，软劝不成来硬的。他先举起刀来吓张胜。张胜贪生怕死，投降了。卫律又拿起刀来要砍苏武。苏武脖子一挺，不动声色地等着。这一挺，反倒叫卫律的手缩回去了。
卫律又软下来对苏武说自己投降了匈奴，单于封他为王，给了几万名手下人和满山的马群。苏武今天投降，明天就跟他一样，要不然，恐怕不能再见面了。
苏武指着卫律的鼻子，骂道：“卫律!你忘恩负义，背叛朝廷，厚颜无耻地投降敌人做了汉奸，我为什么要跟你见面?我决不会投降，要杀要剐（ｇｕǎ）都由你!”
卫律无耻地去向单于报告，单于更要想办法叫苏武投降了。他想折磨苏武，叫他屈服，就把他下了地窖（ｊｉàｏ），不给他吃的、喝的。这时候正好下大雪，苏武就吃着雪和扔在地窖里的破皮带、羊皮片什么的。
过了几天，单于见苏武还活着，以为老天爷在帮苏武，就把他放出来，要封他为王，他不干。单于只得把他送到北海（今贝加尔湖），叫他在那边放羊，还说哪天公羊下小羊，你再回去吧。
苏武到了北海，匈奴不给口粮，他就挖野菜，逮田鼠吃。死活他都不在乎，最叫他念念不忘的是，他是汉朝的使者。他拿着使节放羊，抱着使节睡觉，他想总有一天能拿着使节回去。
一年一年地过去了，苏武手里的那个代表朝廷的使节上的穗子全掉了。可是他把那个光杆子的使节看成自己的命根子。
公元前８７年，汉武帝死了，即位的汉昭帝才八岁。公元前８５年，匈奴起了内乱，单于没有力量再跟汉朝打仗，又打发使者要求和好了。汉昭帝派出使者来到匈奴，要求放回苏武、常惠等人。匈奴骗使者说苏武已经死了。
第二次，汉朝又派使者到匈奴去。常惠买通了单于的手下人，私底下跟使者见面。使者明白了底细，就严厉地责备单于说：“我们皇上在上林园射下了一只大雁，大雁的脚上拴着一条绸子，是苏武亲笔写的一封信。他说他在北海放羊。您怎么可以骗人呢?”（历史故事，历史人物网）
单于听了吓了一大跳，说：“苏武的忠义感动飞鸟了!”他向使者道歉，答应一定送回苏武。
当初苏武出使时，随从的人有一百多，这次跟着他回来的只剩了常惠等几个人了；苏武出使时刚四十岁，在匈奴受难十九年，今天终于回国了。长安的人民听说苏武回来，都出来看。他们瞧见白胡须、白头发的苏武没有不受感动的，说他真是个大丈夫。