贵由即汗位不到两年，便突然死去，蒙古统治集团内部争夺汗位的斗争越演越烈。1251年，蒙古的王公们推举忽必烈的哥哥蒙哥为大汗。忽必烈领导关中漠南（蒙古高原大沙漠以南地区）汉地的军政事务。过了两年，忽必烈又接受了京兆（今陕西西安）的封地。他热心于学习汉文化，任用汉人儒士整顿吏治，恢复农业，建立学校，进一步取得北方汉族地主阶级对他的拥护，为元王朝的建立提供了坚实的社会基础。
1253年，忽必烈受命与另一大将兀良合台一起，南征云南，消灭了大理国。他将兀良合台留在云南镇守，自己班师回朝。不久以后，便在金莲川（今河北滦河上游）建立藩府，修筑宫室，继续任用汉族知识分子为谋士，整顿地方行政，藩府势力不断壮大。这引起了蒙哥的猜疑和不满。蒙哥派人到关中来查核税赋，其实真正的目的是对忽必烈的势力进行打击和限制。忽必烈当然知道哥哥来者不善。他听从手下谋士姚枢的主意，亲自把自己的家小送到和林作为人质，并对蒙哥说：如果我有二心，背叛朝廷，你就把我的家人都杀了吧！
蒙哥听了此话，稍稍消除了疑虑。他停止了在关中的查核税赋工作，但是把忽必烈在那里设置的汉族模式的机构全部撤销了。
1258年，蒙哥派去西征波斯等地的旭烈兀送来了胜利的消息，蒙哥因而决定兵分三路伐宋，统一天下。他亲自领兵打四川，命宗王塔察儿打鄂州（今武昌），兀良合台打潭州。可南宋军队早有防备，蒙哥攻合州（今四川合州）钓鱼城攻了五个月也没攻下来，塔察儿也一直过不了长江，蒙哥只得命忽必烈去替换塔察儿。
忽必烈于1259年八月到达黄陂时，得到了蒙哥死于军中的消息。但他不愿无功而返，仍率部强渡长江，进围鄂州。忽必烈的进攻势头引起南宋朝廷的震动，那个玩蟋蟀出名，靠姐姐是宋理宗的贵妃才当了宰相的贾似道，只好奉命前来应战。
十一月，忽必烈接到妻子的密报，他的弟弟阿里不哥正调兵遣将，准备继承汗位。这时，那个贪生怕死、贪权误国的贾似道却偷偷派人来向忽必烈求和，答应南宋向蒙古称臣，以长江为分界，把长江北面的土地全割让给蒙古，另外每年进贡银帛各二十万。
忽必烈顺势答应，并迅速从鄂州撤兵。1206年4月，他在开平府（今内蒙古正蓝旗及多伦一带）即大汗位，年号中统。同时，忽必烈的弟弟阿里不哥在北边即大汗位，占据了漠北，也在积极活动，两者互不相让。经过四年激战，忽必烈终于打败了阿里不哥，从而统一了内部。
然后，忽必烈大举南下。在攻打南宋时，他听从汉人官员姚枢、刘秉忠的劝告，严禁屠杀无辜百姓，他说：贤明的君王出征，目的是在征服敌人，而不是屠杀老百姓。滥杀无辜只会伤了国家的元气！
忽必烈在即大汗位时就在《即位诏》中宣布：祖述（指祖宗的制度）变通，正在今日。这表明，他想采用汉法，建立一个与中原经济基础相适应的中央政权。1263年，忽必烈将年号改为至元，并定都燕京（今北京）。忽必烈在中央设中书省，在各地分设十路宣抚司，任用汉族读书人负责;改变蒙古开国以来的诸侯世袭制度，遵循中原汉族的传统制度，大体奠定了元朝的政治体制规模。
公元1267年（至元四年），忽必烈在中都燕京的基础上，在城东北建造新的都城，四年后扩建工程结束，正式改国号为大元，并在次年将燕京升为大都。
元朝是中国历史上第一个由少数民族统治全国的封建王朝，它初步奠定了中国疆域的规模。中央集权政治的重新确立，使得统治者将对人民的剥削限制在一定数额之内，并采取了一系列垦荒屯田、兴修水利、限制抑良为奴等有利于农业和手工业生产发展的措施，从而推动了社会的进步。
元世祖忽必烈在位三十五年，公元1294年八十岁时病逝。他是中国历史上一位著名的少数民族政治家和军事家。他建立了一个疆域广阔的庞大帝国，结束了中国数百年来军阀割据和辽、金、西夏等民族政权长期并立的分裂局面，使国内各民族之间的经济文化联系进一步加强，促进了统一的、多民族的国家的稳定和繁荣。