因为非常欣赏王导，司马睿总是和他同进同出。甚则行同车，坐同席，就如同一对相交甚好的布衣之交。
此时已到西晋末年，天下局势混乱，北方百姓迁往长江以南，寻找生机。就连北方的贵族豪绅们也相继南迁，以至于“中州士族避乱江左者十六七”。王导认为西晋的败落已无可挽回，于是建议司马睿也南迁，回到自己原来的封地去，以江东为基础等待时机。
王导分析说：“从古至今，尚未有国奢而不灭亡的。如今，洛阳、长安都深陷奢靡之风，主上又信任屑小之徒，将国家大事、天下民生抛在一旁。而皇太子又非社稷主，宗室擅兵，媾乱以萌。但凡能成就大业者，都先见于物之未兆。江东是殷富之地，当年孙权以此地立国。大王如能顺天意，从民望，则大业可图！”
司马睿点头称是，就上书晋惠帝，要求南迁。在获得晋惠帝的应允后，司马睿携带家眷离开了洛阳，来到了建康（今南京）。当时，北方士族大户跟随他一起南迁的竟多达百户，后来被称作“侨姓士族”。不久，司马睿就在当地形成了一股新兴的强大势力。
当地的南方士族，也就是“吴姓士族”，是土生土长、扎根多年的本土势力群体。他们大多家境殷实，家世渊源，自命不凡，尤以纪瞻、顾荣等人为代表，其他士族和当地百姓深受他们的影响，也不愿听命于琅琊王。司马睿虽对此非常恼怒，但也无计可施，再说自己是初到江南，还没有站稳脚跟，更不可能使用武力镇压，以后还需要这些人的扶持，自己才能在此建立根基，成就大业。在百般无奈的情况下，司马睿只好请求王导的帮助，希望他能够凭借王氏家族的威势打击南方的士族，令他们有所收敛。
恰在此时，王敦也来到江南，王导便请求他留下来共同辅佐琅琊王，并对他说：“琅琊王品德高尚，宽厚仁慈，但声望却不足以威慑江南士族。而兄长你已经威名远扬，江南士族都对你极为钦佩，如果你能表示拥戴琅琊王，江南士族必定也会顺服。”
为了尽快提高琅琊王司马睿的威望，王导安排了众人一起出游，在出游的路上，王导让司马睿骑在马上，而他和王敦亲自走在前面为其开道。江南士族见此情形，不禁大为惊讶著名的王导兄弟，竟然心甘情愿，屈尊为司马睿开道！由此看来，这个司马睿定非等闲人物！自此以后，江南士族对司马睿的态度转变了，不但变得恭敬有礼，而且先后投在他的门下，为他所用。
王导还主张与江东士族通婚联姻，以助团结。他曾经带头向陆玩请婚，却遭到陆玩言辞轻蔑的拒绝，但王导并不灰心，仍然主动和陆玩往来。有一天，陆玩到王导家作客，王家用北方人爱吃的酪浆待客，陆玩觉得这种食物非常新奇，就多吃了几口，没想到回家就觉得身体不适。第二天，陆玩给王导写了一封书信，信中说：“仆虽吴人，几为伧鬼。”“伧”、“伧父”、“伧鬼”都是南方人对北方人的蔑称，陆玩的话虽然有幽默之意，却也流露出几分不屑。
王导听不懂三吴方言，但为了增加江东人士的亲切感，他常常利用空暇时间自学吴语。当地的名士刘恢第一次去拜访王导，正好是盛夏酷暑，他看到王导独自一人，裸露着上身坐在客厅里，抱着一块棋盘放在肚子上熨来熨去，嘴里还不停地念叨着：真凉快！真凉快！
刘恢拜访完王导之后，有人问他：“王导此人如何？”刘恢乐呵呵地回答说：“看不出有什么与众不同，只是听到他在不停地讲吴语。”