战略示意图
晋泰始五年（269年），晋武帝以羊祜都督荆州诸军事，镇守襄阳（今湖北襄樊）；卫都督青州诸军事，镇临（今山东临淄北）；司马都督徐州诸军事，镇下邳（今江苏邳县西南），以这些地区作为进军的基地。羊祜是极力主张并参与密谋灭吴的主要大臣之一，他曾在襄阳与东吴名将陆抗对峙，善施恩惠，如主动送还吴军俘虏、吴国禾麦、吴人射伤的禽兽等，使“吴人翕然悦服”。吴人北来归降者不绝。
泰始八年（272年），司马炎以王为益州刺史，密命他制造大船，训练水军，“为顺流之计”。王遂着手作“大船连舫，方百二十步，受二千人，以木为城，起楼橹，开四出门，其上皆得驰马往来……舟楫之盛，自古未有。”一支强大的水军在长江上游逐渐建立起来了。
正当晋朝国力日盛，积极准备平吴的时候，江东的孙吴却是每况愈下。早在孙权晚年，由于赋役苛重，吴国人民的不满和反抗已有所发展，社会矛盾加剧。晚年的孙权，“性多嫌忌，果于杀戮”，搞得朝臣人不自安。孙权死后，围绕继位和权力问题，引发了一连串的宫廷内争和帝位更迭，进一步加剧了吴国的混乱。及至吴元兴元年（264年），孙权之孙乌程侯孙皓被迎立为帝后，情况更加不可收拾。孙皓昏庸无道，即位后尽情享乐，好酒色，兴土木，搞得吴国“国无一年之储，家无经月之畜”，人民揭竿而起，朝臣离心离德。孙皓对西晋的威胁，毫无戒心，有时也派兵攻晋，但多因草率而无功。他迷信长江天险可保平安，从未认真在战备上下功夫。名将陆抗觉察到晋有灭吴的意图，曾不止一次上疏要求加强备战，他还预见到晋兵会从长江上游顺流而下，特别要求加强建平（今湖北秭归）、西陵（今湖北宜昌东南、西陵峡口）的兵力。王在蜀造船所剩碎木顺江而下，吴建平太守吾彦取之以呈孙皓说：“晋必有攻吴之计，宜增建平兵。建平不下，终不敢渡。”孙皓对陆抗、吾彦的建议和警告，一概不予重视。
陆抗也在忧虑中死去。吴国的衰落，孙皓的昏庸，为晋的顺利灭吴，提供了难得的机会。
咸宁五年（279年），王、杜预（时羊祜已死）以吴主孙皓“荒淫凶虐”，上书建议司马炎“宜速征伐”，举兵平吴。
司马炎即于这年十一月开始了平吴的大进军。
晋军基本上按羊祜生前制定的作战计划，分六路出击：镇军将军、琅王司马自驻地下邳向涂中（今安徽滁河流域），安东将军王浑出江西（由和州出击），建威将军王戎向武昌方向进攻，平南将军胡奋出击夏口（属今湖北武汉市），镇南大将军杜预自驻地襄阳进军江陵（今湖北江陵），龙骧将军王、广武将军唐彬率巴蜀之卒浮顺江流而下。晋军东西凡20余万，以太尉贾充为大都督、行冠军将军杨济为副，总统众军。为了协调行动，司马炎命王的军队下建平时受杜预节度，至秣陵（即吴都建业，今江苏南京市）时受王浑指挥。晋军分路出击，意在迅速切断吴军联系，各个击破，其中西面晋军主攻，东面晋军牵制吴军主力，最后夺取吴都建业。
这年十二月，王、唐彬率军7万沿江而下。明年（即太康元年，280年）二月克丹杨（今湖北秭归东），寻进逼西陵峡。吴军于此设置铁锁横江，又作铁锥暗置江中，以为以此即可阻止晋军前进，竟不派兵防守。王早已预作大筏数十个，缚草为人，立于筏上，使水性好的士卒以筏先行，筏遇铁锥，锥即着筏而去，又用大火烧融铁锁。晋军顺利排除了障碍，一路势如破竹，进克西陵，继克夷道（今湖北宜都）、乐乡（今湖北松滋东北，长江南岸）。
与此同时，杜预率领的晋军，几乎兵不血刃，夺取了江陵，胡奋克江安（今湖北公安西北），所到之处，大多不战而胜。
随即司马炎又命王为都督益梁二州诸军事，要他和唐彬率军继续东下，扫除巴丘（今湖南岳阳），“与胡奋、王戎共平夏口、武昌，顺流长骛，直造秣陵”。同时命杜预南下镇抚零陵（今湖南零陵）、桂阳（今湖南郴县）、衡阳（今湖南湘潭西）。于时王遵命即克夏口，与王戎联军夺取武昌，随后又“泛舟东下，所在皆平”。至此，晋军主力已完全控制了长江上游地区。
至于东面，太康元年正月，主浑率晋军已抵横江（今安徽和县东南）一带，准备渡江进逼建业。吴主孙皓慌忙异常，急令丞相张悌率丹阳太守沈莹、护军孙震等率兵3万，渡江迎击。结果晋军大胜，临阵斩杀张悌、沈莹、孙震等吴将士5800人。吴国上下大震。王浑率军逼近江岸，部将建议他乘胜直捣建业。但王浑以司马炎只命他守江北，拒纳建议，停军江北，等待王。这时琅王司马的晋军也进抵长江，威胁建业。
三月，王军东下抵达三山（在今江苏南京市西南）。吴主孙皓遣游击将军张象率舟军万人抵御，但吴军毫无斗志，“望旗而降”。孙皓企图再凑2万兵众抵抗，这些士众却于出发前夜，即尽逃亡。至此，吴国已无兵可守。各路晋军兵临建业。孙皓用大臣薛莹、胡冲计，分别遣使奉书于王、司马、王浑处求降，企图挑拨离间。按司马炎原先的规定，这时的王晋军应由王浑节度，而王浑屯兵不进，又以共同议事的名义，也要王停止进军。但王不顾王浑阻拦，于三月十五日以戎卒8万，方舟百里，鼓噪而进建业。吴主孙皓面缚出降于王军前，吴亡。晋统一全国。
从史料看，司马炎虽称得上英武果敢，但在感情上却柔若女子，有妇人之仁。他一生共有26个儿子。不幸的是，26个儿子当中虽不乏聪慧之辈，但长子司马轨却不幸夭折，因此次子司马衷成了事实上的长子，按中国的继承人法则，司马衷要被立为太子，而司马衷却是个白痴，不谙世事。司马衷的痴愚朝野皆知。
太子司马衷在吃饭时对粮食很不爱惜，师傅李看不过去，就婉转地对司马衷说：“殿下，碗中的米饭，一粒粒都是农民辛勤耕作得来的，殿下可知道稼穑艰难?如今旱荒严重，老百姓都没有粮食吃，都在忍饥挨饿。”司马衷听了这话，觉得十分奇怪，脱口说道：“没有饭吃，干嘛不吃肉粥?”师傅李哭笑不得。
太子司马衷的低能，武帝是十分清楚的，他知道这个儿子难以担负国家重任。但是杨皇后反对更易太子。杨皇后名艳，字琼芝，是陕西华阳人，父亲杨文宗是魏国贵族，以功封蓣亭侯。杨皇后十分美丽，出自豪门大族，替武帝生下了三男三女，长子早逝，次子便是这司马衷。武帝数次担心地说太子不长进，天性愚钝，难以胜任大事。杨皇后每次都和颜反驳，儿子虽不聪明，但却忠厚纯良，好生教导，会有长进的。武帝试探说，现在更易太子，还来得及。杨皇后摇头，说太子的名分已定了，决不能轻易改动，无论立嫡立长，都应是太子，破坏了这项法制，日后岂不乱了套?我坚决反对。
优柔寡断的武帝就将希望寄托在两个派去考察太子的大臣和峤和荀勖的身上。
果敢刚毅的武帝司马炎在美人面前优柔寡断，下不了决心。武帝信任荀勖，尤其佩服荀勖的高深学问和不世之才。后来荀勖进奏，说太子有了进步，于是武帝相信了荀勖，放下心来，不再考虑更易太子。
天熙元年(公元290年)四月，晋武帝司马炎病死，其子司马衷即位，是为晋惠帝。不过一年，皇后贾南风发动政变，杀死总揽朝政的大臣杨骏；接着又发生了“八王之乱”。建兴四年(公元316年)，刘渊的侄子刘曜攻破长安，俘获末代皇帝司马邺，西晋亡国。时距司马炎之死只有25年。