东晋时候，湖南武陵有一个打鱼人，划着船顺着小溪捕鱼，因被一路的景色所迷恋，不知不觉来到了一片风景十分优美的桃花林。渔人好奇，想看看这片桃林有多大。当他走到林子深处时，发现山旁有个洞，便进入洞里，初进时道路狭窄，走过一段时突然开朗，呈现在面前的是一片山清水秀的平原。
只见肥沃的土地上庄稼长势喜人，桑树、竹林郁郁葱葱，一座座房屋整整齐齐，田间小路四通八达，不时传来鸡呜狗叫之声，人们愉快地耕作着，小孩嬉戏着，到处是一片祥和宁静的景色。人们看到渔人，家家设酒杀鸡邀请他做客，在闲谈中渔人才知道这里的人的祖先为避秦朝战乱，逃到这里，他们世代与世隔绝不知道外面是什么朝代、什么样子？渔人住了几天，辞别好客的人们，原路返回了，一路还做了记号。回去后，将他的经历汇报给了当地太守。太守也很惊奇，派人与渔夫一起寻找桃花园，但却迷失了方向，怎么也找不到了。
后来，人们把这个故事演变成成语，用来比喻理想中的美好地方或不受外界干扰的安乐幽美的环境。