怀帝永嘉元年（307），即八王之乱结束后的第一年，东海王越执掌政权，他派宗室诸王出镇襄阳、长安、邺几个北方重镇，司马睿以安东将军、都督扬州江南诸军事，去镇守江南的建业。
这年九月，琅邪王司马睿到达建业，王导跟着同来。这是后来在江南立足，保存半壁江山的起点。江东是孙吴的故土，强宗大族的势力根深蒂固，江南的吴郡 顾氏、义兴周氏、山阴贺氏等势力都很强大，原广陵相陈敏就是被这些大族共同推翻的。司马睿到建业时，不过在陈敏覆灭之后半年的光景，他要立定脚跟，不取得 江东大族的支持是不行的。于是他以王导为谋主，所有大大小小的事务都向王导征询意见。
司马睿资历不深，江东世族、名士都不把他放在眼 里，看不起他，已经上任一个多月，竟然没有一个有名望的世族主动到府里来参见。王导对此非常忧虑，为此设计了一个戏剧化的场面。他让琅邪王司马睿坐着八人 抬的大轿出行，参观秋季在水边求福去灾、祛除不祥的“禊祭”，他和他的时任扬州刺史的堂兄王敦以及北方一些名士骑马簇拥，在轿后随从，队伍整齐气派，以炫 耀司马睿的尊显威严。这一着果然有点效果，名士纪瞻、顾荣等见后大为惊异，赶忙跑出来在路边拜谒。但是要争取这些人，单靠威风是不行的，必须使他们心悦诚 服。琅邪王司马睿一看时机很好，遂派王导亲自去顾荣、贺循两家江南最大的世族府第，请他们出来做官，两人应命而至。于是在他们的带动下，江东人士纷纷出 仕，逐渐拥护琅邪王司马睿了。司马睿终于取得了江南世族的合作。
琅邪王司马睿任用顾荣为军司，加散骑常侍，一切军国大事，都向他咨询；用贺循为吴国内史，纪瞻、周圮等江东名流也都委以重任。
王导劝琅邪王重要事情要同江东士族商议，为他不断出谋划策。琅邪王如有过失，王导能及时谏阻。琅邪王初到建业时，常因酒醉误事，王导提出后，他就接受改 正。王导治国，以清静为原则，劝琅邪王减少耗费，收到了安定邦国的效果，他们的君臣关系越来越好。琅邪王曾对他说：“卿是我的。”王导却答道：“大王 要建立不世的功勋，一统天下，需要、乐毅那样的人才，区区国臣（司马睿是琅邪王，所以王导是诸侯国的臣子）怎能比拟前人！”他并不居功，屡劝琅邪王广 择贤能，显示出一个胸怀宽阔的政治家的气度。
当时渡江南下的人士，每到空闲的日子，常常互相邀约到江边的新亭饮酒聚会。有一次饮酒宴 会之后，众人思念故土，相对流泪。王导不哭，他正色道：“我辈应当共同努力为国效劳，克复神州，何至于像楚囚一般，相向哭泣呢。”楚囚原指春秋时被俘到晋 国的楚人钟仪，后来用以指处境窘迫的人。王导认为在国事艰难的时候，重要的是振奋精神，在战略上蔑视困难，去打开局面。如果只是相对哭泣，一筹莫展，在意 志上自己先击垮自己，怎么能战胜困难呢！众人听后，都揩干眼泪，向他谢过。
愍帝在长安即位后，因其名司马业，建业这个地名因避讳从此 改为建康。愍帝曾命琅邪王睿大举北伐，琅邪王不曾应命，只因祖逖的要求，让他独自率领部曲渡江北上。单看这件事情，似乎琅邪王睿和王导都不想“克复神 州”。然而他们当时的处境实在困难，大举北伐是不可能的。因为对于南方来说，一是力量单薄，二是内部矛盾重重。王导努力争取南方士族的合作，但总有一部分 人不愿意真正合作。特别是过江的北方人增多后，不可能不引起一部分南方人的疑虑，在愍帝建兴元年（313），还曾发生了周圮等一些江南氏族起兵乱政的事 件。但事后，晋政府对周氏一族并不追究，后来还让周勰做临淮太守。司马氏和中原大族要做到同江东大族合作，实在不容易啊！处境如此，他们只能集中精力来稳 定东南地区。
对琅邪王司马睿来说，至少在东晋草创时期，只能以王导为主要依靠对象。西晋亡后的次年（317）三月，琅邪王在建康即位称晋王，改元称建武元年，史称东晋。建武二年三月，愍帝遇害的消息传到建康，晋王才改称皇帝，他就是晋元帝。
大兴元年（318），司马睿即皇帝之位时，竟然要拉着王导到御座上同坐，共同接受百官的朝拜，王导当然不肯，坚决推辞。对元帝而言，这其实也是故作姿态，然而他非依靠王导不可，王氏兄弟在东晋政权中的地位，却在这里表现得十分清楚。
晋元帝依靠王导，还有另外一个原因，即王导的堂兄王敦是个实力派。王敦字处仲，曾被东海王越任命为扬州刺史。元帝到江南后，扬州刺史刘陶死了，元帝就命 王敦担任这个职务。他和王导，一个为地方实力派，一个执掌朝政，元帝仗着他们，才巩固了统治，在东晋王朝中，司马氏有其位，而王氏家族有其权，王家与司马 家几乎达到“平起平坐”的地步，所以当时有“王与马，共天下”的说法，这非常如实地反映了东晋初年的政治状况。
元帝在建康立定脚跟已 经很不容易，要把号令发到扬州以外的地方并使之生效，自然更加困难。永嘉五年（311），江州刺史华轶就以没有看到来自洛阳的诏书为理由，不服从琅邪王的 命令，闹到不得不用武力解决的地步，而扬州刺史王敦做了讨伐华轶的主将。他攻杀华轶，又督率陶侃、周访等平定杜，稳定了对长江中游地区的统治。长江中下 游地区都稳定了，琅邪王睿管辖的地区就大体上与孙吴的疆域相同。元帝即位，加封王敦为江州牧。大兴元年（318），任命他为荆州牧，因王敦不肯接受，改为 荆州刺史。从此他坐镇荆州，掌握长江上游地区的军政大权，“共天下”的局面有了进一步的发展。
以后的情况发生了变化。对每个君王来 说，他所追求的就是率土之滨莫非王土的统治效果，要的是无限至上的独裁权力，这种与大臣平起平坐的局面实在是一种实力不济的无奈，只要有机会，或者说政权 如果得以稳固，那么东晋皇帝首先要做的就是除去这个内心隐疾。晋元帝统治一旦稳固，遂对王导逐渐产生了猜忌的心理，对王敦更是疑虑重重，想的就是早日结束 这种痛苦的共享。随着王敦成为跋扈的大军阀，起兵作乱，最后病死，王导虽然仍位居高职，但实际权力就转到了与其共同执政的中书令庾亮手中。
历来史家往往从王导不曾恢复中原、不能阻止王敦叛乱等问题着眼，贬低王导的功绩，他们都没有抓住王导的主要贡献，而陈寅恪先生则另有评说，在《述东晋王 导之功业》中说：“王导之笼络江东士族，统一内部，结合南人北人两种实力，以抵抗外侮，民族因得以独立，文化因得以续延，不谓民族之功臣，似非平情之论 也。”
同时我们评价“王与马，共天下”的局面，还要看到，东晋立国实质上是两汉魏晋以来的文明得以延续的关键。东晋和继续它的宋、 齐、梁、陈四代，共计二百六十二年，尽管这五个朝代都是局处江东，然而中原人士都视之为文化正统所在。两个半世纪以后，中原的元气恢复了，民族融合了，于 是南北一统，又揭开中华文明史新的一页。