路过蒲邑，刚好遇上公叔氏占据了蒲而背叛卫国，蒲人就留住孔子。弟子中有个叫公良孺的，自己带了五辆车子跟随孔子周游各地。他这个人身材高大，才德好，又英勇；他对孔子说：“我以前跟着老师在匡的地方遇到危难，如今又在这里遇上危难，这是命吧！我和老师一再地遭难，宁愿跟他们拼死算了！”于是就跟蒲人猛烈地拼斗起来。蒲人害怕了，就对孔子说：“如果能不去卫国，我就放你们走。”双方谈好条件，就放孔子一行从东门离去。孔子脱险后却一路前往卫国。子贡说：“约定好的条件可以不遵守吗？”孔子说：“在胁迫下订的条约，神明是不会认可的。”卫灵公听说孔子来了，很高兴，亲自出城来迎接。问道：“蒲可以讨伐吗？”孔子答说：“可以。”灵公说：“我的大夫却认为不能去讨伐。因为现在的蒲，是卫国防备晋、楚的前哨据点，我们自己发兵去打，如果蒲人干脆投靠敌方，或敌方趁机来袭，那后果不是很不好吗？”孔子说：“蒲邑的百姓，男的都效忠卫国，有拼死的决心；妇女们也有保卫这块西河地方的愿望。所以我们所要讨伐的，只是领头叛乱的四五个人罢了。”灵公说：“很好。”然而却不去伐蒲。
卫灵公年纪老了，政务废弛，也不用孔子。孔子很感叹地说：“如果有人用我来掌理国政，一年就可以有个样子，三年便有具体成效了。”孔子只好离开了。
佛肸做中牟（在今河南汤阴县西）邑宰。晋国的大夫赵简子要攻灭范氏、中行氏两家，中牟不服赵氏，就来攻伐中牟。佛肸就据有中牟公然反叛了。他派人来召请孔子协助，孔子有意前往，子路说：“我听老师说过：‘一个本身做了坏事的人那里，君子是不会去的。’现在佛肸自己据了中牟反叛，您想前去，这又是为什么呢？”孔子说：“我是说过这话的。但我不也说过真正坚实的东西吗？它是怎样磨都不会薄损的；不也说过真正精白的东西吗？它是怎么染也不会污黑的。我难道是个中看不中吃的葫芦瓜（一云匏瓜为星名）吗？怎么能只供人挂着而不吃呢！”
一天孔子击着磬，有个担着草制盛土器经过门前的人听见了，说道：“真是有心呵，这个击磬的人，叮叮当当地直敲着，既然世上没有人赏识自己，那就算了罢！”
孔子向鲁国的乐官师襄子学弹琴，一连十天都没有进展。师襄子说：“可以进学一层了。”孔子说：“我已学会了乐曲的形式，但节奏内容还不了解。”过了一些时候，师襄子又说：“你已学得了曲子的节奏内容，可以进学一层了。”孔子说：“我还没领会乐曲的情感意蕴。”过了一些时候，师襄子又说：“你已领会了乐曲的情感意蕴，可以进学一层了。”孔子说：“乐曲中那个人我还体认不出呢！”再过一段时间，孔子一副安详虔敬有所深思的样子，随又欣喜陶然，像是视野情志正与高远的目标相遇似的。最后说道：“我体认出曲中的这个人啦！他的样子黑黑的，个子高高的，眼光是那样的明亮远大。像个统治四方诸侯的王者，这不是文王又有谁能够如此呢！”师襄子离开座位很恭敬地说：“我就说过这是文王的琴曲啊！”
孔子既然不被卫王所用，打算往西去见赵简子。到了黄河边，听到窦鸣犊、舜华两人被杀的消息，就对着河水感叹说：“河水是这样的壮美，这样的盛大啊！我不渡过这条河，也是命吧！”子贡听了趋前问道：“请问这话是什么意思？”孔子说：“窦鸣犊和舜华两人，是晋国有才德的大夫。当赵简子还没有得志的时候，是倚仗这两人的才能从政的；如今他得志了，却杀了他们来执掌政权。我听说过：一个地方的人，如果残忍到剖开动物的肚子来杀死幼儿，麒麟是不来到郊外的；排干了池塘水来捉鱼，蛟龙就不肯调和阴阳来兴云致雨了；弄翻鸟儿的巢打破了卵，凤凰就不愿来飞翔。这是为什么呢？是君子忌讳自己的同类受到伤害啊！连飞鸟走兽对于不义的人事尚且知道避开，何况是我孔丘呢！”于是回到陬乡歇息，做了《陬操》这首琴曲来哀悼他们两人。随后又回到了卫，进住蘧伯玉的家。
有一天，卫灵公问起军队战阵的事。孔子说：“关于祭祀典礼的事，我倒听说过；至于军队战阵的事，却是不曾学过。”第二天，灵公正和孔子在谈话，见有雁群飞过，只顾抬头仰望，神色间并不注意孔子。于是孔子就离开卫，又去陈国。
同年的夏天，卫灵公死了，立了灵公的孙子辄继位，他就是卫出公。六月间，赵鞅（赵简子）派人把流亡在外的卫灵公太子蒯聩（出公辄之父）强送到卫国的戚邑。于是阳虎要太子去掉帽子露出发髻，另外八个人穿麻戴孝，装成是从卫来接太子回去奔丧的样子，哭着进了戚城，就住了下来。冬天里，蔡国从新蔡迁到州来（即下蔡，时属吴地）。这一年正是鲁哀公三年，而孔子已六十岁了。齐国协助卫国围攻戚城，是因为卫太子蒯聩住在那儿的缘故。
夏天里，鲁桓公、厘公的庙失火烧了起来。这时孔子在陈国，听说鲁庙失火了，说道：“火灾一定发生在桓公、厘公的庙吧！”后来消息证实，果然如他所言。到了秋天，季桓子病重，乘着辇车望见鲁城，感叹地说：“以前这个国家几乎是可以强盛起来的，只因为我得罪了孔子，没有好好用他，所以才没有兴盛啊！”随即对着他的嗣子康子说：“我死了，你必然接掌鲁国的政权；掌政之后，一定得请孔子回来。”过了几天，桓子死了，康子继承了卿位。丧事办完之后，想召孔子。公之鱼却说：“从前我们先君（桓子）用他没用到底，最后惹来别国的笑话，现在你再用他，如果又是半途而废，别国岂不又要笑话你。”季康子说：“那要召谁才好呢？”公之鱼说：“应该召冉求。”于是就派了专人来召冉求。冉求正要启程时，孔子说：“鲁国当局来召冉求，不会小用他，该会重用他的。”就在这一天，孔子说：“回去吧！回去吧！在我们家乡的那批孩子们，志气都大，只是行事疏略些；他们的质地文采都很美，我真不知道要怎样来剪裁调教他们才好。”子赣知道了孔子想回乡去，在送冉求时，据说就叮嘱他：“就职了，设法要他们来请老师回去！”
冉求回去后，第二年，孔子从陈国迁到蔡国。蔡昭公要到吴国去，是吴王召他去的。以前昭公欺骗他的臣子要把都邑迁到吴境的州来，现在即将应召前往，大夫们担心他又要搬迁，公孙翩就在路上把他射杀了。楚军来进犯蔡国。同年秋天，齐景公死了。
第二年，孔子从蔡国前往叶。叶公（楚大夫诸梁封邑在叶，僭称公）问孔子为政的道理，孔子说：“为政的道理在使远方的人归附，近处的人贴服。”有一天，叶公向子路问起孔子的为人，子路没回答他。孔子知道了就对子路说：“仲由！你怎么不回他说‘他这个人嘛，学起道术来毫不倦怠，教起人来全不厌烦，用起功来连饭也会忘了吃，求道有的高兴起来，什么忧愁都可忘掉，甚至于连衰老就将到来也不知道了’等等。”
离开了叶，在回蔡的路上，长沮、桀溺两人一起在田里耕作。孔子看出了他们是隐居的高士，就叫子路前去向他们打听渡口的方位。长沮说：“那车上拉着缰绳的人是谁？”子路说：“是孔丘。”长沮说：“是鲁国的孔丘吗？”子路说：“是的。”长沮说：“那他该知道渡口在哪儿了。”桀溺随又问子路说：“你是谁？”子路说：“我是仲由。”桀溺说：“那你，是孔丘的门徒啰！”子路说：“是的。”桀溺说：“天下哪儿都是一样的动荡啊，但是又有谁能改变这种局势？况且你与其跟着那逃避暴君乱臣的人到处奔波，还不如跟着我们这种避开整个乱世的人来得安逸自在呢！”说着，就自管去下种覆土了。子路把经过情形报告了孔子，孔子怅然地说：“人总该有责任的，怎可自顾隐居山林，终日与鸟兽生活在一起。天下如果清明太平的话，那我也用不着到处奔走要想改变这个局面了。”
有一天，子路一个人走着，遇上一位肩上挑着除草竹器的老人。子路请问道：“你可看见了我的老师？”老人说：“你们这些人，手脚都不劳动，五谷也分不清楚，谁是你老师我怎么会知道？”只管拄着杖去除草。事后子路把经过告诉了孔子，孔子说：“那是一位隐士。”叫子路回去看看，老人却已走了。
孔子迁到蔡国的第三年，吴国进攻陈国。楚国前来救陈，军队驻扎在城父（楚邑，在今河南宝丰县东）。听说孔子住在陈、蔡两国的边境上，楚国就派了专人来聘请孔子。孔子正打算应聘前去见礼，陈、蔡两国的大夫就商议说：“孔子是位有才德的贤者，凡他所讽刺讥评的，都切中诸侯的弊病所在。如今他长久留住在我们陈、蔡两国之间，各位大夫的所作所为，都不合于仲尼的观点意思。现在的楚国，是个强大的国家，却来礼聘孔子；楚国如果真用了孔子，那我们陈、蔡两国掌政的大夫就危险了。”于是双方都派了人一起把孔子围困在荒野上，动弹不得，粮食也断绝了。随行弟子饿病了，都打不起精神来。孔子却照样不停地讲他的学，朗诵他的书，弹他的琴，唱他的歌。子路满怀懊恼地来见孔子，说道：“君子也会有这样困穷的时候吗？”孔子说：“会有的，只不过君子遭到困穷时能够把持自己，小人遭到困穷的话，那就什么事都做得出来了。”子贡的神色也变了，孔子对他说：“赐啊，你以为我是多方去学习而把学来的牢记在心里的吗？”子贡说：“是的，难道不对吗？”孔子说：“不是的，我是把握住事物相通的基本道理，而加以统摄贯通的。”
孔子知道弟子心中有着懊恼不平，于是召子路前来问他说：“《诗》上说：‘不是犀牛也不是老虎，为什么偏偏巡行在旷野之中？难道是我的道理有什么不对吗？我为什么会落到这个地步？”子路说：“想必是我们的仁德不够吧？所以人家不信任我们；想必是我们的智谋不足吧？所以人家不放我们通行。”孔子说：“有这个道理吗？仲由，假使有仁德的人便能使人信任，那伯夷、叔齐怎会饿死在首阳山呢？假使有智谋的人就能通行无阻，那王子比干怎会被纣王剖心呢？”子路退出，子贡进来相见。孔子说：“赐啊！《诗》上说：‘不是犀牛也不是老虎，为什么偏偏巡行在旷野之中。’难道是我的道理有什么不对吗？为什么我会落到这个地步？”子贡说：“老师的道理是大到极点了，所以天下人就不能容受老师。老师何不稍微降低迁就一些！”孔子说：“赐，好农夫虽然善于播种五谷，却不一定准有好收成；好工匠能有精巧的手艺，所做却不一定能尽合人意；君子能够修治他的道术，就像治丝结网一般，先建立最基本的大纲统绪，再依序疏理结扎，但不一定能容合于当世。现在你不去修治自己的道术，反而想降格来苟合求容，赐啊！你的志向就不远大了！”子贡出去了，颜回进来相见。孔子说：“回啊！《诗》上说：‘不是犀牛也不是老虎，为什么偏偏巡行在旷野之中。’难道是我的道理有什么不对吗？为什么我会落到这个地步呢？”颜回说：“老师的道术大到极点了，所以天下人就不能够容受。然而，老师照着自己的道术推广做去，不被容受又有什么关系？人家不能容，正见得老师是一位不苟合取容的君子呢！一个人道术不修治，才是自己的耻辱；至于道术既已大大地修成而不被人所用，那是有国的君主和执政大臣的耻辱了。不被容受有什么关系？人家不能容，正见得自己是一位不苟合取容的君子呢！”孔子听了欣慰地笑了，说道：“有这回事吗？颜家的子弟呀！假使你能有很多财富的话，我真愿意做家宰，替你经理财用呢！”于是差了子贡到楚国去，楚昭王便派兵前来迎护孔子，才免去了这场灾祸。
楚昭王想把七百里大有居民里籍的地方封给孔子。楚国的令尹子西（即公子申，昭王之兄）阻止说：“大王使臣出使到诸侯各国的，有像子贡这样称职的吗？”昭王说：“没有。”子西又问：“大王左右辅佐大臣，有像颜回这样贤能的吗？”昭王说：“没有。”子西又问：“大王的将帅，有像子路这样英勇的吗？”昭王说：“没有。”子西再问：“大王各部主事的臣子，有像宰予这样干练的吗？”昭王也说：“没有。”子西接着说：“况且我们楚国的祖先在受周天子分封时，名位只是子爵，土地是跟男爵相等的方五十里。如今，孔丘遵循三皇五帝的遗规，效法周公、召公的德业，大王如果用了他，那么楚国还能世世代代公然保有几千里的土地吗？想当初文王在丰邑，武王在镐京，以百里小国的君主，两代经营终而统一天下。现在孔丘如拥有那七百里土地，又有那么多贤能弟子辅佐，对楚国来说并不是好事。”昭王听了就打消封地给孔子的念头。这年秋天，楚昭王死在城父。
楚国装狂自隐的贤士接舆唱着歌走过孔子的车前，他唱道：“凤呀！凤呀！你的品德身价怎么这样低落？过去的已经无法挽回补正了呀！可是将来的还可以来得及避免的。罢了！罢了！现在从政的人都是很危险的啊！”孔子下了车，想和他谈谈，他却快步走开了，没能跟他说上话。于是孔子从楚国回到了卫国。这一年，是孔子六十三岁，也是鲁哀公的六年。
第二年，吴国和鲁国在缯（今山东峄县境）的地方会盟，吴王要求鲁国提供百牢（牛羊猪三牲俱备曰一牢）的礼献。吴太宰嚭召见季康子，康子就请子贡前去应对，经子贡据理力争才得免了。