苏武字子卿，年轻时因为父亲的原因，兄弟三人都做了皇帝的侍从，并逐渐被提升为掌管皇帝鞍马、鹰犬、射猎工具的官。
当时，匈奴自从被卫青、霍去病打败以后，双方有好几年没打仗。他们口头上表示要跟汉朝和好，实际上还是随时想进犯中原。匈奴的单于一次次派使者来求和，可是汉朝的使者到匈奴去回访，有的却被他们扣留了。汉朝也扣留了一些匈奴使者。
汉武帝天汉元年（公元前100年），汉武帝正想出兵打匈奴，匈奴派使者来求和了，还把汉朝的使者都放回来。为了答复匈奴的善意表示，汉武帝派中郎将苏武出使匈奴，副使中郎将张胜和暂时充任使团官吏的常惠等一同跟随前往。苏武等人到达匈奴后，正好碰上曾归降过汉朝的匈奴缑王和虞常。
苏武没到匈奴之前，有一个生长在汉朝的匈奴人卫律。他是汉朝的使节，他父亲原是长水地区的匈奴人，因为推荐他的李延年一家被捕，害怕受到牵连，便投降匈奴，很受单于赏识，封他为王。
虞常在汉朝时与张胜关系很好，就来与张胜商量，说愿意为汉天子刺杀卫律，策划劫持匈奴单于的母亲阏氏回到汉朝。希望张胜回去向汉朝多说好话，让他在汉朝的家人获得赏赐。张胜答应了，并送给虞常许多财物。
过了一个多月，单于出去打猎，虞常等人想趁机发动。谁知事情败露，缑王等人战死，虞常被活捉。单于派卫律处理这件事，张胜担心此前与虞常合谋的事被查出，就把详细情况向苏武报告。苏武说：“事情已经到这个地步，一定会牵连到我。如果让人家审问以后再死，不是更给朝廷丢脸吗”于是准备自杀，张胜、常惠一起阻止他。
虞常果然招出张胜，单于大怒，想要把汉朝使者都杀了。左伊秩訾说：“谋害卫律，就要将他们处死；如果是谋害单于，那还怎么加罪呢？我看还是把他们都招降了。”单于派卫律向苏武等人招降。苏武对常惠等人说：“卑躬屈节，有辱使命，就算活下来，又有什么颜面面对汉朝父老？”抽出佩刀就刺自己身体。卫律大吃一惊，亲自抱着苏武，派人骑马去召医生。苏武呼吸都停了，经过紧急抢救，过了很久才恢复过来。常惠等人哭着将苏武抬回驻地，单于觉得苏武是个有气节的好汉，早晚都派人问候，十分钦佩他。等苏武伤痊愈了，单于又想逼苏武投降。单于派卫律审问虞常，让苏武在旁边听着。卫律先把虞常定了死罪，杀了；接着，又举剑威胁张胜，张胜贪生怕死，投降了。
苏武的伤渐渐好起来，单于派人来劝说苏武，想让他投降匈奴。卫律又对苏武说：“副使有罪，你作为正使，应该连坐受罚。”苏武辩解说：“我没有参与谋划，与张胜又没有亲属关系，为什么要连坐受罚？”卫律又举起剑威胁苏武，苏武不动声色。卫律没法，只好把举起的剑放下来。卫律说：“你要是听我的，归降了匈奴，我与你就像兄弟一般，享尽富贵荣华。先生如果能够投降匈奴，明天也跟我一样，何必白白送掉性命呢？”苏武愤愤地说：“你身为汉朝臣子，忘恩负义，背叛君主亲人，投降蛮夷异族，我为什么要见你？单于信任你，让你决定别人的生死，你不但不公平处理，反而挑动两国君主争斗。以前南越国杀了汉使，被汉所灭，成为九郡；大宛王杀了汉使，结果他的人头被挂在长安宫廷的北门；朝鲜杀了汉使，即刻就被消灭；只有匈奴还没有做过这种事。你明知我不会投降，却想借此挑起两国的战争，只怕匈奴的灾难，要从我这开始了。”
苏武牧羊
卫律知道苏武不会受他的威胁，只得如实禀报单于。单于见苏武宁死不屈，更想让他归顺，就把他囚禁在一个大地窖里，断绝饮食，逼他投降。这时候正是入冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了，就捧了一把雪止渴；饿了，扯了一些皮带、羊皮片啃着充饥。过了几天，居然没有饿死。
匈奴人以为有神灵保佑他，就把他放逐到北海荒无人烟的地方，让他放牧公羊说：“等到公羊能产出羊奶，你就可以回国了。”常惠等其他不肯投降的官员，也被分别扣押在其他地方。
苏武在北海边上，旁边什么人都没有。匈奴不给口粮，他就掘野鼠洞里的草根充饥。唯一和他作伴的是那根代表朝廷的旌节，起居都带着它，时间一久，最后节杖上的毛缨全都脱落了。
李陵投降匈奴以后，不敢求见苏武。过了很久，单于派李陵到北海边，李陵为苏武设了酒宴，目的还是劝苏武投降匈奴。李陵说：“单于恭敬地对待你。你无法再回汉朝了，有谁能知道你在这荒无人烟的地方白白受苦，有谁能看见你的信义节操呢？你的两个兄弟，因连坐获罪，自杀了；你的母亲也已经去世；听说你的夫人已经改嫁别人；剩下两个妹妹、一个儿子、两个女儿，如今又过去了十几年，也不知道是否还在人世。人生就像早晨的露水一样短暂，何必固执地自讨苦吃呢？”
苏武说：“我本来没有什么功德，蒙皇上厚恩，才有今天的地位。身为臣子，侍奉君王，就像儿子侍奉父样一样，儿子为父亲而死，没有什么遗憾。不必再多言了，我早已经认定自己是死了的人。如果大王一定要我投降，就结束今天的欢聚，我立刻死在你面前！”
李陵看到苏武视死如归的决心，叹着气说：“唉！你真是义士！我和卫律的罪过，真是上通于天！”说完眼泪流下来沾湿了衣襟，送给苏武几十头牛羊后，与苏武诀别离去。
后来，李陵又到北海边告诉苏武汉武帝已经去世。苏武一连几个月，每天的早晨和晚上都面向南方痛哭不止，甚至吐血。
一直到了公元前85年，匈奴的单于死了，匈奴发生内乱，分成了三个国家。新单于没有力量再跟汉朝打仗，又打发使者来求和。那时候，汉武帝已死去，他的儿子汉昭帝即位。汉朝派使者来到匈奴，向匈奴人索要苏武，匈奴骗他们说苏武已经死了。
后来汉使又来匈奴，常惠偷偷见到汉使，教使者这样对单于说：“天子在上林苑打猎，射下一只大雁，那只大雁，脚上系着一封书信，说苏武在某处湖泽。”于是，使者就按常惠教的对单于说。单于大吃一惊，环顾左右侍从，然后向汉使道歉，说：“苏武的确还在人世。”于是将苏武召回交予汉使。李陵设宴为苏武祝贺说：“现在你返回汉朝，名声传遍匈奴，功劳显于汉朝，史书里记载的人物，也比不上你啊。”
苏武出使的时候，才四十岁。在匈奴受了十九年的折磨，胡须、头发全白了。回到长安的那天，长安的人民都出来迎接他。他们瞧见白胡须、白头发的苏武手里拿着光杆子的旌节，没有一个不受感动的，说他真是个有气节的大丈夫。汉昭帝下令苏武用牛、羊、猪的太牢之礼，前去祭拜汉武帝的陵庙。封苏武为典属国，品秩中二千石，赏赐了苏武二百万钱、两顷公田、一处住宅。
苏武是一个具有爱国主义精神的人，他十分有民族气节，为了民族尊严和国家利益宁死不屈。苏武滞留匈奴，与匈奴君臣、投降者斗，与恶劣的自然环境斗，以信念与精神挑战人的生命的极限，最终回到了大汉怀抱。苏武作为忠诚节义的楷模，“使于四方，不辱君命”，其历史功绩，是在任何情况下都不可磨灭的。
苏武牧羊的故事，是典型的反映人的坚强意志和伟大抱负的事实。苏武能够在单于故意设置阴谋诡计的情况下毫不畏惧，而且能够忍受十九年的精神与身体的双重折磨，充分说明了一个人只要有伟大的志向和理想，任何痛苦和折磨都是不难克服和承受的。