1936年郁达夫离开杭州南下福州以前，他和王映霞几乎日日生活在一起，从没有两个月以上的分离。所以，当这次他承蒙陈仪主席的垂青，只身南下，羁留闽地之际，虽终日应接不暇地忙于应酬，但却常在思念杭州。特别是夜深人静，独坐无聊之时，他对王映霞的思慕之情愈益强烈，仿佛又回到了当年在上海时的初恋时期。有时一连几天没有收到王映霞的来信，他便放心不下，颇为焦急，担心家中会发生什么异变不测之事。每当这时，北望中原，他便顿生不如归去之想。
1937年元月，郁达夫打电报催促王映霞来闽。暮春三月，王映霞将杭州的家务略一安排，随身只带了殿春来到福州，可是，还没住上半年，“七七”卢沟桥事变便爆发了，经商定，王映霞带着殿春又回到杭州。
过了一个月，“八一三”上海战事的发生，直接威胁到杭州的安全，驻杭的大小机关、官僚、政客以及普通的市民都纷纷出逃，王映霞也携带与她住在一起的母亲和三个儿子一家老小先后去富阳、丽水避难。
战乱时期，邮路时常中断，但从杭州“风雨茅庐”传出的有关王映霞的风风雨雨，却不时通过一些从浙江到福建来的人口中传到郁达夫的耳里。后来，更有谣传说，丧偶不久的浙江省教育厅厅长许绍棣新借得一夫人，并且已在丽水同居，倒很快乐云云。
许绍棣何许人也？许绍棣，浙江人，毕业于复旦大学，曾在上海《民国日报》工作过一段时间，30年代，他先后出任国民党浙江省党部执行委员、宣传部长、浙江省教育厅厅长等职。1930年，浙江省党部因鲁迅、郁达夫等参加发起中国自由运动大同盟，呈请国民党中央给予通缉和警告一案，就是许绍棣和其他一些党部的先生们一手策划的。郁达夫移家杭州后，没有接受鲁迅的警告和规劝，一度与之交往甚密，并且平时来往，亦不避男女，把他当做这一时期经常与之交往应酬的官场人士中的良友之一。
对于王映霞与许绍棣之间的种种谣传，郁达夫起初并不相信。他总觉得许某系平日交往中的良友之一，又身为浙江省教育厅厅长，负责一省的教育行政工作，料他乘人之危、占人之妻等事，决不会做。况且，当时又正值日军到处肆虐、残害民众的紧迫之际，他断定在自己的抗战阵营里，绝对不会发生这种夺人所爱的荒唐之举。但是，古人有“三人成虎”
的担忧，俗谚也有“无风不起浪”的说法，一想到移家杭州以后，王映霞因受周围环境的熏染而产生的种种变化，郁达夫又不免将信将疑。
从前在上海，他们所接触的大多是文人书匠，彼此生活，没有太大的差异。移家杭州后，与他们交游的则大都是官场人士，社会名流。与这些出则汽车、居则洋楼的先生、太太们交往久了，耳濡目染，王映霞越来越感到做一个名士之妻的清寒与寂寞。她曾不止一次地指责郁达夫太不事生产，言语之中明显地透露出对官场人士的倾慕与向往。何况，她当时又正值盛年，风采不凡，有好事者更把她列为当时杭州交际场上的“四大美女”之首，于是，女性特有的虚荣与矫情也使她的欲望越来越高，对郁达夫及家庭现状的不满也与日俱增。在杭州，郁达夫之所以大兴土木，不惜借债建造富丽堂皇的风雨茅庐，乃至最终违背初衷，不得不为五斗米折腰，南下福州充任自己过去一向鄙视的官僚、政客，客观的生活、经济上的原因固然是一个方面，但来自王映霞的催逼和压力也是一个不容忽视的重要因素。
一想到这些，郁达夫原先的那种十分自信的想法便开始动摇，觉得这些谣言或许也不是无中生有，毫无根据。于是，他一连几次电催王映霞南下福州，但她终于没来，仍然住在丽水。
丽水是一个不大的小县城，当时浙江省政府和民、财、建、教四厅以及各厅的附属机关也都临时疏散到这里，暂驻在城里比较宽敞的一家公司。经朋友的帮忙和周旋，王映霞在这家公司的一幢房子里租住了一个房间。当时，夫人已经去世的教育厅厅长许绍棣和他的三个女儿恰好也住在这幢房子里。
自从移家杭州以后，因为有东道主的招待，王映霞也常常随郁达夫一道饱尝了游山玩水的滋味，游历了不少山川名胜，渐渐也产生了旅游的兴致。她的这种兴致，即使在战争逃难期间，也丝毫不减。
她在《半生自述》中写道：
一直来我憧憬着的浙东的几处名胜，像永康的方岩和金华的北山，往昔只能在达夫写的游记里了解些。到了丽水之后，一有时间，我便约几个朋友去玩个痛快。游踪所至，游兴之浓，我在家信里都告诉过达夫，当然，他是不高兴的。冷讽热嘲，在他的复信里我都可以看得出来。
文中所说的“朋友”，便包括教育厅厅长许绍棣。郁达夫原本就对有关王映霞行迹不检的谣传将信将疑，王映霞又写信告诉他，自己在丽水与“朋友”们一起游山玩水，这在客观上无疑更加重了郁达夫的疑虑和不满，愤激之余，在回信中“冷讽热嘲”、旁敲侧击，流露出一些不快之情，自也难免。
1938年初，郁达夫在福州得悉，日军接连攻占杭州、富阳，年过七旬的白发老母因不愿远离故土逃难他乡，富阳沦陷后，她孤身一人被活活饿死在她自己的住所里。听到老母饿死故里的噩耗，郁达夫哀恸欲绝，但当时富阳正陷敌手，他无法回去收拾遗骸，只好在福州的寓所设下灵堂遥祭，灵堂正中悬挂着母亲的遗像，两旁则挂着他亲自书写的一副对联：“无母何依”，“此仇必报”。
就在这时，当时已担任军委会政治部第三厅厅长的郭沫若，突然来电邀请郁达夫北上武汉，与他一起从事政治部第三厅的抗日宣传工作。接到电报，郁达夫便决定立即北上，他决心以自己的实际工作为殉难的老母报仇雪恨。
临行之前，他又去福州天王君殿求了一签，签诗曰：
寒风阵阵雨潇潇，千里行人去路遥。
不是有家归未得，鸣鸠已占凤凰巢。
诗句奇突，仿佛是一种不祥的暗示。第二天，他便心事重重、忐忑不安地踏上了北上的路程。
在北上武汉的途中，郁达夫顺道经延平、龙泉到达丽水，准备将王映霞母子一同接去武汉。
俗话说：“久别胜新婚。”按照常理，长时间的分离之后，如今郁达夫不辞辛劳，一路风尘仆仆地赶到丽水，与王映霞母子团聚，自该是一番合家团圆、夫妻相得的欢乐景象。可是一到丽水，郁达夫便感觉到，王映霞对他的到来不仅不感到高兴，反倒显示出异乎寻常的冷淡。
初到丽水的那天夜里，郁达夫因久别映霞，想同她同衾共枕，但她却拒绝了他的要求，理由是许某人这几日没去办公，也住在这里。第二天，许绍棣去金华开会，夜里没有回来。郁达夫也去了一趟方岩，会见了许多友人。入夜归来，王映霞仍拒绝与他同宿，借口是月事方来，分宿为佳。尽管郁达夫并不相信她的话，但也只得十分懊丧地含糊应之。到了第三天，许绍棣自金华回来，并于当天下午六时又去了碧湖。
临行前，王映霞突然乘车同去，并且与他同在碧湖过了一晚，整夜未归，一直到次日午后，她才回到丽水。
直到这时，郁达夫才如大梦初醒，想到了人言之啧啧，想到了自己的愚蠢和糊涂。于是他与王映霞挑明了话题大吵一顿之后，提出了两条出路由王映霞自决：一是随他一起去武汉；二是留在丽水，与许某人永久同居下去。
面对郁达夫提出的这两条“出路”，王映霞着实认真思考了一番。两天以后，她终于打定主意，还是随郁达夫一起去武汉。其间曲折，据郁达夫的观察，王映霞在这期间似曾与许绍棣交涉了很久，许某似不肯答应与她办理正式结婚手续，王映霞这才挥泪别了许某，同郁达夫一道去了武汉。