百里奚饱读诗书，才学过人，可是家境贫困，加上虞国宗法制度森严，平民没有希望入仕为官。百里奚的妻子杜氏是个很有见识的女子，深知自己丈夫是旷世奇才，于是就鼓励百里奚出游列国求仕。
在百里奚出游那天，家中已经揭不开锅了。杜氏一大清早起来，宰杀了唯一的一只下蛋母鸡，劈了门闩炖母鸡，煮小米饭，给丈夫饯行。百里奚从南阳出游求仕后，历经宋国、齐国等国家，因为朝堂里无人，都没有得到录用。在齐国，百里奚陷入困境，一度沿街乞讨，继续求仕生涯。
在齐国郅地，他遇见了蹇叔，两人一番高谈阔论，就结为知己。此后，在蹇叔的举荐下，到虞国当了个大夫。但虞国国君是个爱财如命的国君，在收了晋国的垂棘（垂棘地方产的宝玉）和宝马等财物以后，就答应借道路给晋国，让晋国途径虞国去征讨自己的邻国虢国，也是虞国的同姓兼同盟国。百里奚对虞国国君述说唇亡齿寒的道理，在劝说无效的情况下，闭口不再劝谏，并对同僚宫之奇说：“对蠢人直言相劝，无异于把珍宝丢弃在路上。”果然，晋国灭虢国后，把矛头指向虞国。公元前655年，晋国（献公）灭掉虞国，俘虏了虞国君及其大夫百里奚。由于他拒绝在晋国做官，被晋国充作奴隶，在穆姬嫁给秦穆公时候，陪嫁到秦国。百里奚在去秦国的途中，逃回到楚国。
楚国国君楚成王听说百里奚善于养牛，就让百里奚为自己养牛。刚当上秦国国君的秦穆公，名字叫任好，是一位胸有大志的国君，听说了百里奚是人才，就想重金赎回百里奚。秦穆公的谋臣公子絷说：“那楚成王一定是不知道百里奚的才能，才让百里奚养牛。若用重金赎他。那不就等于告诉人家百里奚是千载难遇的人才吗？”秦穆公问：“那我该怎么样才能得到百里奚？”公子絷说：“可以贵物贱买，用一个奴隶的市价，也就是五张黑公羊皮来换百里奚。那样楚成王就一定不会怀疑了。”
当百里奚被押回秦国后，秦穆公亲自接见了百里奚。这时的百里奚已白发苍苍，百里奚说：“我是亡国之臣，哪里值得国君垂询！”穆公说：“虞君不用你，才使你被掳，并不是你的过错。”秦穆公亲自解除了他的奴隶身份，并与他商谈，讨教国家大事。两人一谈就是三天，言无不合。穆公十分高兴，要拜其为上大夫（上卿），委以国政，实际上就是把秦国的军政大权都交给了百里奚。百里奚坚决辞让不受，并推荐自己的好友蹇叔当上卿。最后，秦穆公就让他用很重礼，将蹇叔请来秦国，让他和蹇叔一道做秦国的上大夫。因百里奚是秦穆公用五张黑公羊皮换回来的奴隶，故世人称百里奚为“五羖大夫”。羖，就是黑公羊皮的意思。
百里奚在秦国当了上大夫（丞相）以后，始终保持着爱民思想，他勤勉政事，劳累不坐车，酷暑炎热不打伞，走遍国中，不用随从的车辆，不带武装防卫，深得秦国人民的信赖。对内，则提倡教化，开启民智，也就是精神文明，按照周朝的官制和朝仪，百里奚改变了秦国落后的国体；对外，搞好与邻国的关系，不兴战事，使秦国短期内大治。
有一次，百里奚的相府觥筹交错，宾主笑语频频，非常热闹。百里奚交待歌舞者奏乐演唱举办堂会，来款待客人。在相府内一个洗衣服的女佣听到乐器声后，主动要求为上大夫百里奚演奏一曲，百里奚欣然表示同意。那老妇人走到大庭广众之下，落落大方地援琴抚弦，自弹自唱道：
百里奚，五羊皮。忆别时，烹伏雌，炊扊扅，今日富贵忘我为。
百里奚，初娶我时五羊皮。临当别时烹乳鸡，今适富贵忘我为。
百里奚，百里奚，母已死，葬南溪。坟以瓦，覆以柴，舂黄黎。
搤伏鸡。西入秦，五羖皮，今日富贵捐我为。
听着这委婉幽怨，耐人寻味，字字真切的歌声，百里奚大为惊讶，就上前去询问，方才知道原来是自己的结发妻子杜氏千里寻夫来到了眼前。百里奚妻杜氏自丈夫离别之后，几十年杳无音讯。家境贫困，又逢上灾荒年景，就带上儿子外出逃荒。杜氏讨饭到秦国，打听到百里奚已经在秦国当了大夫。为了能接近百里奚，她设法到百里奚府中当了洗衣的佣人。
相堂之上相认后，夫妻两人抱头痛哭起来。秦国人知道这件事情以后，很为百里奚的品质所感动。秦穆公还派人送来了许多财宝馈赠，以示祝贺。从此，百里奚位高不忘旧情，相堂认妻的故事在民间广为流传。