过了不久，石建死了，这时皇上召见了李广，让他接替石建担任郎中令。元朔六年，李广又被封为后将军，随大将军卫青的军队从定襄发兵，征伐匈奴。许多将领杀死、俘虏敌人符合规定数额，因战功而被封侯，可是李广的军队却没有立下战功。过了两年，李广作为郎中令率四千骑兵从右北平发兵，博望侯张骞率一万骑兵与李广一同出征，分道而行。行军约有几百里，匈奴左贤王率四万骑兵包围了李广，李广的士兵都非常惊恐，于是李广派他的儿子李敢骑马向匈奴军中飞奔前进。李敢独自带几十名骑兵直捣匈奴骑兵阵，从敌军的左右两翼杀出，回来向李广报告：“匈奴人很容易对付啊！”士兵们这才安心。李广摆成面向外面的圆形兵阵，匈奴对他们进行猛攻，箭如雨下。汉军死掉大半，箭也快用光了。李广就命令将士们拉满弓，不要放箭，而他亲自用大黄弩射杀匈奴的副将，杀死了好几个人，匈奴军队才渐渐散开。恰逢天色已晚，官兵都面无人色，可是李广却神态自若，更加注意整顿好军队。军中上下从此都更是佩服他的勇气。第二天，又继续奋力作战，博望侯的军队也赶来了，匈奴军队这才撤离。博望侯的军队非常疲惫，所以也没能去追击。当时李广的军队几乎全军覆没，就收兵回朝。依照汉朝法律，博望侯行军迟缓，耽误行程，罪当处死，他用钱赎罪，被降为平民。李广的军队功过相抵，没有封赏。
当初，李广的堂弟李蔡与李广一起侍奉孝文帝。到景帝时，李蔡累积功劳已官至年俸二千石。武帝时，做到了代国的相国。元朔五年，被任为轻车将军，随大将军卫青攻打匈奴的右贤王，立下战功，达到封赏的标准，被封为乐安侯。元狩二年，李蔡代替公孙弘任丞相。李蔡的才干在下等的中间，声名和李广差得很远，然而李广却得不到爵位和封地，官位也没超过九卿，可是李蔡却位居列侯，官位达到三公之列。李广属下的军官和士卒们，也有人被封侯。李广曾与星象家王朔私下闲谈：“自打汉朝进击匈奴以来，我没有一次不在汉军之中。可是各军中校尉以下的军官，他们的才能还不如普通人，然而因攻打匈奴而立下军功被封侯的有几十个人。我李广不比别人差，但是没立下一点功劳来得到封邑，这是什么原因呢？难道是我的骨相不配当封侯吗？还是命该如此呢？”王朔说：“请将军自己回想一下，难道您曾经做过什么值得悔恨的事吗？”李广说：“我曾担任陇西太守，有一次羌人反叛，我诱骗他们投降，有八百多人投降，我用欺诈的手段在同一天内把他们都杀害了。至今以来只有这件事是我最大的悔恨。”王朔说：“没有比杀害已投降的人罪过更大的了，这就是将军您不能被封侯的原因。”
又过了两年，大将军和骠骑将军率大军出征匈奴，李广屡次主动请求随行。天子认为他年事已高，没有答应；好久之后才准许他前去，任命他为前将军。这一年是元狩四年。
李广随大将军卫青出征匈奴，出塞以后，卫青通过捕获的俘虏，知道了单于的居所，就自己带精兵去追逐单于，而命令李广的军队并入右将军的军队，从东路出兵。东路稍微有些迂回绕远，而且大军行经水草缺少的地方，势必不能聚集行进。李广就自动请求说：“我身为前将军，如今大将军却让我改从东路出兵，况且我从年少时就与匈奴作战，到今天才得以与单于对阵，我愿做前锋，先去与单于决一死战。”大将军卫青曾暗中被皇上告诫过，认为李广老了，屡屡不走运，不要让他与单于对阵交锋，恐怕他不能俘获单于。那时公孙敖新近丢掉了侯爵之位，任中将军，随大将军出征，大将军也想和公孙敖一起与单于对阵，所以故意调开前将军李广。李广当时知道内情之后，坚决请求大将军收回调令。大将军不听，命令长史下文书到李广的幕府，并对他说：“赶快去右将军军部，照文书行事。”李广没有向大将军告辞就起程了，非常恼怒地赶往右将军军部，与右将军赵食其会合后从东路出兵。大军没有向导，有时就会迷失道路，结果落在大将军后面。大将军与单于交锋，单于逃跑了，汉军没有追上只好回去。大将军向南行越过沙漠，遇上了前将军和右将军的部队。李广见过大将军之后，便回到自己军中。大将军派长史拿着干粮和酒送给李广，顺便询问李广和赵食其迷路的情况，卫青想要给天子上书报告行军的曲折原委。李广没有作答，大将军派长史马上责令李广的幕府人员前去受审。李广说：“各位校尉没有罪，是我自己迷了路，我现在就去大将军幕府受审。”
到了大将军幕府后，李广对他的手下说：“我从年少时起与匈奴打过大小七十多次仗，如今有幸随大将军出征，同单于的军队交锋，可是大将军又调我的军队走迂回绕远的路，偏偏又迷路，这难道不是天意吗！况且我都六十多岁了，终究不能再被那些刀笔吏侮辱。”于是他就拔刀自刎了。李广军中将士无不痛哭。百姓听说这件事后，不论认识他的还是不认识他的，也不论老的还是少的，都为李广落泪。右将军赵食其独自被交给执法官吏，被判为死罪，他用钱赎罪，被降为平民。
李广有三个儿子，名叫李当户、李椒、李敢，都担任郎官。一次天子在和韩嫣戏耍，韩嫣有些放肆的举动，李当户就打了韩嫣，韩嫣逃跑了，因为这样天子认为李当户很勇敢。李当户死得早，皇上便任命李椒为代郡太守，这两个儿子都比李广先死。当户有个遗腹子名为李陵。李广死在军中之时，李敢正在骠骑将军霍去病手下做事。
李广死后第二年，李蔡身为丞相，因侵占了孝景帝陵园前大路两旁的空地而获罪，应送交执法官吏查办，李蔡不愿受审，也自杀了，他的封国被废。
李敢身为校尉，跟随骠骑将军出击匈奴的左贤王，他奋力作战，夺得左贤王的战鼓和帅旗，斩杀了很多敌人，因而被封为关内侯，封给他食邑二百户，接替李广担任郎中令。没过不久，李敢怨恨大将军使他父亲抱恨死去，就把大将军打伤了，大将军把这件事隐瞒了下来。又过了没多久，李敢随皇上去雍县到甘泉宫打猎。霍去病和卫青是亲戚，就把李敢射死了。霍去病当时很受宠，正当显贵，皇上隐瞒了真相，说李敢是被鹿撞死的。又过了一年多，霍去病去世。李敢有个女儿做了太子的侍妾，受到宠爱，李敢的儿子李禹也受到太子宠爱，但他贪财好利，李氏家族就日渐败落了。
李陵成年后，被选任为建章监，监管各处骑兵。他善于射箭，爱护士卒，天子认为李家世代为将，就派李陵统领八百骑兵。李陵曾深入到匈奴境内两千多里，穿过居延视察地形，没发现有敌人就回来了。后来被封为骑都尉，统率丹阳的五千名楚兵，到酒泉、张掖去教习将士们射箭，屯驻在那儿防备匈奴入侵。
几年后，到了天汉二年秋天，贰师将军李广利率三万骑兵去祁连山进攻匈奴右贤王，武帝派李陵率领他的五千名射手步兵，出兵到居延以北大约一千里之处，想以此分散敌人的兵力，使他们无法专门对付贰师将军。李陵已到约定期限就要回师，而此时单于用八万大军围攻李陵的军队。李陵的军队只有五千人，箭都射光了，士兵也死了大半，但他们也杀伤了一万多名匈奴兵。李陵率军边撤退边战斗，接连打了八天，往回撤到离居延还有一百多里之处，匈奴人堵住狭窄的通道，截断了他们的归路。李陵的军队粮草缺乏，救兵又不到，敌人加紧进击，并劝诱李陵投降。李陵说：“我没有脸面去回报陛下了！”于是就投降了匈奴。他全军覆没，余下逃散得以回到汉朝的只有四百多人。
单于得到李陵之后，因向来知道李陵家的名声，作战时又很勇敢，于是就把女儿嫁给李陵，使他显贵起来。汉朝知道这件事后，就杀了李陵的母亲、妻子和儿女。自此后，李家名声败落，曾做过李氏门客的陇西一带的士人，都以此为耻。
太史公说：《论语》中说：“为官的人自身行为端正，不用下命令人们也会执行；为官的自身行为不正，即使下命令也没人会听从。”这难道说的就是李将军么！我见李将军老实厚道，像个乡下人般不善讲话，可在他死的那一天，天下人不论是认识他的还是不认识他的，都为他极尽悲哀。他那忠厚诚实的品格确实得到了士大夫们的信赖呀！谚语道：“桃树、李树不会开口讲话，树下却自然而然地被人踩出一条小路。”这话虽然浅显，但却可以用来说明大道理呀。