在迁居杭州以后的近三年时间里，郁达夫与其说是一个超然于世的隐者，不如说更近于一个安逸懒散的名士。因为仰慕他的文名，上至杭州的官场人物，下到一般的文人雅士，大多乐于同他交往、应酬。于是，饮酒赋诗、参观旅游、交际应酬等等，几乎成了他这几年间生活的主要内容。当然，在这些应酬、交往中，作为名士之妻的王映霞，常常也都躬逢其盛、联袂而往。个中情形，王映霞在《半生自述》中也有具体的介绍：
初到杭州时，我尚体味不出它的特殊境遇。两三个月后，警察局派来了几个人，说是来检查书籍的。这个时候，我才暗中感到自己一惯忽视政治的可怕。继之而来的，便是各种人的接连不断的来访，有的自称是“学生”，又有的说是“同学”，还有的竟在当地的报刊上登出了访问特写。这就很自然地给我们招来了不少慕名和好奇的来访者。从此，我们这个安静的住处，不安又不静起来。比如，今天到了一个京剧名角，捧场有我们的份，明日为某人接风或饯行，也有我们的请帖，什么人的儿女满月，父母双寿，乃至小姨结婚等，非要来接去喝酒不可，累得我们竟无半日闲暇，更打破了多年来我们家庭中的“书香”气氛。我这个寒士之妻，为了应酬，亦便旗袍革履，和先生太太们的来往，由疏而亲，由亲而密了。所谓“座上客常满，樽中酒不空”正是我们那一时期热闹的写照。
就在这频繁、热闹的应酬交往之中，却发生了一件不幸的事：1935年5月，他们的第三个儿子郁亮(幼名耀春)因患脑膜炎而夭折了。
郁亮是郁达夫、王映霞移家杭州后第二个月出生的。在他降临人世之前，郁达夫和王映霞每在灯下闲谈的时候，就把他的名字想好了。长子飞(幼名阳春)、次子云(幼名殿春)，都是从岳家军岳飞、岳云的名字借用过来的，同时，《三国演义》里也有张飞、赵云两位猛将。自从他们的女儿静儿被送给松江的一位保姆带养并夭折后，他们都希望这次能再生一个乖巧的女孩，以娱老境。
“若是女孩，当叫她作银瓶，借以凑成忠孝节义的全套。”
郁达夫首先提议。
“若是男孩呢，可以叫他作亮；有了猛将，自然也少不得谋臣，历史上的智谋奇略之士，我只佩服那位鞠躬尽瘁、死而后已的诸葛武侯。”王映霞补充说。
生下来后，竟然又是一个男孩，于是便根据王映霞的意见，取名为亮。既名曰亮，自然得有光，所以幼名又据阳春、殿春二位哥哥的名字称为耀春。
耀春出生的时侯，身体异常肥硕，食量也相当大。平日虽也生过一些小病，但经诊治都恢复如初，没有大的影响。
这次的病最初只是因伤风感冒引发成肺炎，最后又由肺炎演变成了结核性脑膜炎。患病前后不到一个月的时间，他就在1935年5月20日夜夭折了，当时距他的生日，刚近24个月。
患病期间，耀春显得十分乖巧，几乎从未大声地哭闹过，终日只是昏昏欲睡。经医生诊断说已成绝症、万无生还的希望时，郁达夫和王映霞才强忍着悲痛，坐车将他送回原籍富阳以安排后事。
耀春的夭折，使郁达夫再一次陷入中年丧子的极度悲伤之中。他的《记耀春之殇》一文，以细腻、沉痛的笔调叙写了耀春夭折前后的情状和自己丧魂失魄的恍惚：
墓碑葬具以及坟地等预备好之后，将他移入到东门外的一家寺院中去的早晨，他的久已干枯的眼角上才开始滴了几滴眼泪。这是从他害病之日起，第一次见到的眼泪。他人虽则小，灵性想来是也有的。人之将死，总有一番痛苦与哀愁，可怜他说话都还不曾学会，而这死的痛苦，死的哀愁，却同大人一样地深深尝透了；“彼凡人之相亲，小离别而怀恋，况中殇之爱子，乃千秋而不见！”我的哀情，当然也比他自己临死时的伤痛不会得略有减处。
十年前龙儿死在北平，我没有见到他的尸身，也没有见到棺殓，百日之后，离开北平，还觉得泪流不止。现在他的坟土未干，我的陪病失眠的疲倦未复，每日闲坐在书斋看看中天的白日，惆惆然似乎只觉得缺少了一件东西；再切实一点的说来，似乎自己的一个头，一个中藏着脑髓，司思想运动的头颅不见了。
10年之内，连丧三个骨肉(二子一女)，这对正处中年而又特别易于伤感的郁达夫来说，心灵的打击和感情的重负是可想而知的，每当夜深人静、难以入眠之时，徘徊于房前屋后，仰望着耀眼的星空，他常常会产生物是人非、人生无常的悲伤和感叹。
耀春夭折后，他除写了一篇《记耀春之殇》的散文以外，还写了一组六首《志亡儿耀春之殇》的悼亡诗：
赢博之间土已陈，千秋亭畔草如茵。
虚堂月落星繁夜，泚笔为文记耀春。
命似潘儿过七旬，佯啼假笑也天真。
两年掌上晨昏舞，慰我黔娄一段贫。
跬步还须阿母扶，褰裳言语尚模糊。
免教物在人亡后，烧出红绫半幅襦。
明眸细齿耳垂长，玉色双拳带乳香。
收取生前儿戏具，筠笼从此不开箱。
魂魄何由入梦来？东西歧路费疑猜。
九泉怕有人欺侮，埋近先茔为树槐。
生小排行列第三，阿戎原是出青蓝。
怜他阮籍猖狂甚，来对荒坟作醉谈。
1936年，郁达夫和王映霞生育了最后一个儿子郁荀，幼名建春。