崂山上的下清宫中，有一株耐冬树，有二丈来高，有十几尺那么大，还有一株牡丹，有一丈多高，花开的时候，璀璨似锦。
胶州有个黄生，寄居在下清宫中读书。有一天，黄生从窗往外看，见有一个女郎，穿着白色衣裙，掩映在花丛中，忽隐忽现。黄生心里很疑惑，觉得道观中，应该不会有女子，等黄生跑出去，想看个究竟的时候，女郎早又不见了。从此之后，黄生多次看见，于是，他便想了个办法，藏在花丛中，等女郎的出现。果然，没一会儿，女郎出现了，并又带着一个身着红色衣裳的女郎到来。黄生远看着她们，真是艳丽极力。黄生就轻手轻脚地慢慢靠近她们，红色衣裳的女郎一下闪退到一边，说道：“这里有生人！”黄生见被发觉了，索性就突然从花丛中冒出来，两个女郎见了，十分惊异，就拉着手跑了，衣裙随风飘拂，散发出阵阵香气，黄生追到矮墙出，忽然就不见了，在那里徘徊了一下，心里对她们十分的爱慕，便在旁边的树上，题了一首诗：“无限相思苦，含情对短窗。恐归沙吒利，何处觅无双。”诗的前两句都比较清楚，后两句就不太好懂了，用了两个典故，在唐人许尧佐的《柳氏传》中，说韩翊和柳氏相恋，后来遭到了安史之乱，柳氏被番将沙吒利去劫走，后来得到虞侯许俊的帮助，又得和韩翊结合。同样在唐人薛调的《无双传》中，说刘无双和王仙客原来订有婚约，后来因为政治上的变乱，流无双被收进了宫廷中。王仙客向侠客古押衙救助，然后才把刘无双从宫中救了出来，用这两个典故的总的意思就是说，只怕自己所钟爱的女子被别人抢去，就无处寻觅了。
黄生回到房里，正在那里苦想，穿着白色衣裙的女郎，忽然就进去了，黄生惊喜地上去迎接，女郎笑着道：“刚才你那般气势汹汹，像个强盗一样，真让人害怕，没想到你也是一个风雅之士，倒不妨来和你相见。”黄生略微地询问她的生平，女郎道：“妾小字香玉，是青楼中的女子，被道士禁闭在这山中，实在不愿意。”黄生道：“那道士叫什么？我去给你洗雪这种耻辱。”香玉道：“不必了，他也不敢随意玷污我，在这里还可以借此，长久地和风流之人幽会，也是一件好事。”黄生又问：“身着红色衣裳的女子是谁？”香玉道：“她叫绛雪，是我的义姊。”于是，黄生便和香玉成了欢乐好事。
等醒过来，天色已亮了，香玉立即起来：“贪图欢乐，竟然忘记天已经亮了。”就穿上衣服，鞋子，并说道：“我酬答你的诗作，请你不要见笑：‘良夜更易尽，朝暾已上窗。愿如梁上燕，栖出自成双。’”黄生握着她的手腕道：“卿外表清秀，内心聪慧，真让人爱得要死。离开一天，就像是远离久别一般。你一有空闲，就来好吧，不要等到夜里才来。”香玉道：“嗯，好！”
从此，白天晚上，香玉常常到来。黄生叫她邀绛雪一起来，说了很多次，都不见绛雪去，黄生感到很遗憾。香玉道：“姊姊性行孤高，不像我这样痴情。应当从容地慢慢等待，不要过于急切。”
一天晚上，香玉凄惨地到来，对黄生说：“你连我都保不住了，还想得到绛雪吗？现在要和你永久地分别了。”黄生问：“到哪里去？”香玉用衣袖擦拭着眼泪，说：“这有个有个定数，很难和你说。你还记得，你前面的诗作吗，现今成谶语了。真是‘佳人已属沙吒利，义士今无古押衙’了。”黄生问她，她也不说，只是低声呜咽，一夜也没有睡觉，早上早早都去了，黄生感到很奇怪。
第二天，就有墨县的蓝氏，到道观中游览，见到了那株白牡丹，十分喜欢，就挖出来，移走了。黄生才明白香玉就是花妖，惆怅惋惜不已。过了几天，听说蓝氏把牡丹移栽到家之后，没两天就萎蔫了。黄生感到很遗憾，就写了五十首《哭花》诗，牡丹移走之后，原地留下一个土坑，黄生天天跑到土坑边流泪哀吊。
一天，正哀吊回去，远看见绛雪也在土坑旁流泪哭泣。黄生就慢慢地走过去，绛雪也不回避。黄生就过去拉着她的衣袖，你看我，我看你，相对流泪，接着黄生拉着绛雪的手，请她到自己的房里去，绛雪也听从了。
绛雪哀叹道：“从小一起长大的姊妹，一朝断绝了，怎叫人不凄伤，听到你哀切地哭声，更增加了我的哀恸。香玉在九泉之下，被真诚怀念所感动，也学有可能重新复活。然而，她的神气已飘散了，一时之间，怎能和我两人说话谈笑。”黄生道：“小生命薄，伤害了情人，应当也没有福气消受双美了。以前我多次烦请香玉邀你到来，你为何一次都不来呢？”绛雪道：“我认为年少的书生，十之八九都是薄幸无情之人，没想到你是一个重情之人。然而，我和你交往，是在情谊方面，不是男女淫乐方面，如果要是整天亲昵在一起，那是不能做的。”说完就要告别而去了。黄生道：“香玉长久的分离，让我寝食不安。希望你能留下来一会，慰藉一下我心里的苦痛，为何要这样决绝呢？”绛雪就留了下来，过了两夜就离去了，几天都没有再去。
冷雨幽窗，黄生苦苦想念着香玉，辗转床头，不觉泪如泉涌，沾湿了枕头，翻来覆去，无法入眠，就起来，点上灯，按着前诗的韵律，又作了一首：“山院黄昏雨，垂帘坐小窗。相思不见人，中夜泪双双。”写好之后，自己又沉痛地吟诵了一遍，忽然听到窗外有人说道：“作诗不能没有人相和。”黄生一听，是绛雪，就起来开门让她进去。
绛雪进去，看了黄生的诗，在后面续写道：“连袂人何处？孤灯照晚窗。空山人一个，对影自成双。”黄生读了，不觉流下泪来，也埋怨绛雪不多来和看自己。绛雪道：“我不能像香玉那样热烈，但也可以稍微安慰你的寂寞。”黄生想和她亲昵。绛雪道：“相见的欢乐，何必要如此呢？”
于是，绛雪在黄生无聊的时候，就到来，到了就喝酒作诗唱和，有时她也不留在那里睡，就离去了，黄生也任由她。黄生说：“香玉是我的爱妻，绛雪却是我的良友。”
黄生问绛雪：“你是院落中的第几株，乞望你指示给我，好让我移栽到家里去，免得像香玉一样被恶人抢去，留下永久的遗恨。”绛雪道：“故土难移，告诉你也没有什么用。爱妻尚且不能始终跟从你，何况是朋友呢！”黄生不听，拉着她到牡丹花下，指着一株问道：“这是你吗？”绛雪任他怎么问，只是掩口轻笑，始终不说。
接着，到了腊月，黄生便回去过年。
到了二月间，忽然梦到绛雪到他家去，凄惨地说：“我遇到了大难！你立即回去，也许还可以想见，迟了就来不及了。”黄生醒来，感到很奇怪，急忙叫起仆人，驾上马车，连夜赶往崂山。
到了那里，才知道有一个道士建造房屋，有一株耐冬，阻碍了施工，工匠准备把它砍了。黄生立即制止。
到了夜里，绛雪就去向答谢黄生。黄生笑着道：“你以前不告诉我，该当遭到这样的灾祸！现在知道你是谁了，如果你不到来，我就去用艾蒿熏烤，看你出不出现。”绛雪道：“我原先就知道你会这样做，前面我不敢直接告诉你，也是顾虑到这个啊！”坐了一会儿，黄生有说道：“现今面对良友，更加让我思念美艳的妻子，很久都没有哭吊香玉了，你能跟我去哭吊一番吗？两人就走到土坑边，站在那里流泪，过了一阵，继续收住了泪水，劝慰黄生不必过于哀伤。
又过了几夜，黄生正孤寂地坐着，继续笑着走进去，说：“给你报喜了，花神感念你是个至情之人，让香玉又降生到道观中来了。”黄生问：“什么时候？”绛雪道：“不知道，大约就在最近吧！”天亮下床之后，黄生嘱咐道：“我为你半夜赶来，你可不要久久不来，让我忍受孤寂哦。”绛雪笑着答应：“不会的。”可是，一连两夜，绛雪都没有去，黄生就跑去抱着那株耐冬树，摇撼抚摸，频频地叫唤，可都没有回应。黄生就返回屋去，在灯下把艾蒿绑成一束，准备拿去灼烧树木。
绛雪忽然闯进去，抢过艾蒿，丢在地上，说：“你这样搞恶作剧，想让我受到创伤，我要和你永别了！”黄生便笑着向她道歉，推着她坐下，还没坐好，香玉步履轻盈地走进去，黄生看见了，泪水不住了流了出来，立即站起来，拉着香玉，又用一手拉着绛雪，哽咽着隐隐哭泣。等坐下了，黄生握着香玉的手，感觉一片虚无，像是自己的手捏在一块一样，就惊讶地问是怎么回事，香玉伤心地留着泪说：“往日，我是花中的神，因此便凝结起来；现今我是花鬼，因此就松散了。今日虽然来和你相聚，你不要认为是真的，只当做一场梦来看就行了。”绛雪在一旁说道：“妹妹来了，真是太好了，我被你家的男子纠缠得快要死了。”于是，就离开了。
香玉还是像原先一样莞尔微笑，但是依偎在一起的时候，黄生感觉像是一个影子靠在自己身上。黄生心里悒悒不乐，香玉俯仰之间，也感到很遗憾，对黄生道：“你用细碎的白蔹，和着一点硫磺，化成一杯水，每天浇灌给我，明年的今天，我就可以来报答你了。”就和还是分别而去了。
第二天，黄生就到原先的地方去看，则看到牡丹发芽了。还是便每天细心培植，又在四周围上围栏保护。晚上香玉到来，对他十分感激。还是想移栽到家里去，香玉认为不可以，说：“我生来体质微弱，不堪承受再次移动。况且，每一样东西，都有自己生长的地方，我一来就没有打算生长在你家，违背了，反而会加快我的死亡。只要你怜爱我，好好把我照顾好，我们自然会有相好的日子。”
黄生又遗憾绛雪不再来了，香玉道：“你一定想要她来，我能让她到来。”于是，就和黄生打着灯笼，来到树下。香玉拿起一根草，用手掌比量，取为尺度，然后就取好的尺度，去度量树木，，从下面量起，到树身四尺六寸的地方，就用手按着那地方，然后叫黄生用两只手，一齐给树搔痒。一会儿，就见到绛雪从树后面出来，笑骂道：“小婢子来，就助纣为虐吗？”香玉就挽着他走进屋去，说道：“阿姊不要责怪，暂时麻烦你陪侍一下郎君，一年之后，就不会再打扰你了。”从此，便习以为常。
黄生看着牡丹发芽，一天比一天长得茂盛，春天结束的时候，已长得有两尺多高了。他回去之后，就给道士钱，请道士代为看管。
到了第二年的四月，则有了一朵含苞欲放的花了，黄生正在那里留连观赏，只见花朵摇摇欲坠，一会儿就开放了，花瓣盛开，有盘子那么大，好像有一个美人坐在花蕊之中，只有三四个手指合并起来那么高大，转瞬之间，飘然而下，则是香玉。香玉笑着道：“我忍受着风云等待着你，你为何现在才来？”就走进屋室之中，绛雪也到来了，笑着道：“天天代替人家，给别人做妇人，现在终于能够退回，做朋友了。”于是，就摆下酒宴，吃酒说话。
到了半夜，绛雪才离去。黄生和香玉又睡在了一块，又像原先一样欢洽恩爱。
后来，黄生的妻子死了，黄生便跑到山中不回去了。当时，牡丹已长得有手臂那么大了，黄生常指着道：“他日我一定要寄魂在这里，生在你的左边。”香玉和绛雪就笑着道：“你可不要忘了。”
后来过了十多年，黄生忽然就病了，他的儿子到来，对着他哀伤地哭泣，黄生笑着道：“这是我的生期，并不是我的死期啊，有什么好悲哀的呢？”又对道士说：“日后，牡丹花下面有红色的芽瓣长出来，张开就是五张叶子的，就是我了。”说完就不说了，儿子载着他回去，就死了。
第二年，果然有肥大的幼芽从牡丹花下长出来，叶片正好黄生所说的数目。道士觉得很奇异，就整天浇灌，三年后，长了几尺来高，树干有一把那么大，但是就是不开花。老道士死了，他的弟子不知道爱惜，就砍去了，白牡丹也憔悴地死了，没多久，耐冬树也死了。