这个时候忽必烈正在率领蒙古的精锐部队在南宋的鄂州地区作战。 很明显，忽必烈最初并没有打算撤军，他打算先占领南宋，以此为自己取得汗位增添更为有力的砝码。当他接到蒙哥的死讯时，他的部将劝他回师，而忽必烈的回答 是：“今已渡江，是言何益！”不过很快他就接到了留守在后方的妻子察必的通知，了解到了阿里不哥的阴谋，这样一来，他就必须返回了。
1260年初，忽必烈与草草地签订了一份和约，留下一小股部队，就匆匆返回开平。不过这份和约被奸相隐瞒了，他扣留了蒙古使节，出兵歼灭了留守的那一小股蒙古部队，并谎称大捷，以致错误地引导了南宋对蒙古的态度。
忽必烈清楚地意识到，阿里不哥鞭长莫及，他无法阻止自己有效地调动和控制进入汉地的蒙军及汉军。有了这一资本，忽必烈不肯轻易离开经营有年的中原而贸然 北上。双方间使臣往返，交涉不断，不见任何成效，而矛盾却日趋激化。1260年4月中，忽必烈拘禁了阿里不哥派往燕京的心腹脱里赤，，在新筑成不 久的开平城首先召开忽里台大会，宣布即大汗位。
忽必烈在漠南的抢先即位，完全打乱了阿里不哥的预谋。无奈之下，阿里不哥只得匆匆于 1260年夏季，在驻地阿勒泰山中，召集留守漠北封地的诸王宗戚，举行大会，并在会上被拥立为大汗。这样就出现了南北两大汗相互抗衡的局面。在这次较量 中，无论是忽必烈还是阿里不哥，都得到了相当部分的蒙古显贵的拥戴。忽必烈得到东道诸王的支持较多，而阿里不哥则得到了西道诸王的支持。尽管从表面上看， 旭烈兀和钦察汗国的态度中立，不无暧昧之处，然而替旭烈兀留守漠北封地的儿子药木忽儿，最初是支持阿里不哥的。而钦察汗国的钱币上更刻有阿里不哥的名字， 更表明了钦察汗国的立场。这样一来，最后谁能问鼎，就要靠各自的能力了。
为了能够顺利取得胜利，忽必烈做了一系列重要举措。在忽必烈宣布为汗的次月，他向天下颁行了《即位诏》，在诏书中忽必烈明确宣布：“祖述变通，正在今日。”这就意味着他向中原的儒士们发出信号，要采用汉制。这样一来，忽必烈就有了一个相对稳定的后方。
与此同时，忽必烈毫不迟疑地开始着手征调和组编忠于他个人的精锐部队。由于蒙哥的怯薛大军在扶柩北归后大都滞留在漠北，归入了阿里不哥旗下，忽必烈就在 潜邸宿卫的基础上迅速扩充，重建了一支大汗的怯薛部队，以戍守北方各地，尤其是燕京、开平一线心腹地区。另外，他还多次征集各地兵员，很快组建起一支拱卫 京畿的侍卫亲军。统领侍卫亲军的，是随他出生入死的亲信董文炳等将领。解决了防卫问题后，忽必烈开始着手对付阿里不哥。他下令“诸路市马万匹送开平府”， “诏燕京、西京、北京三路宣抚司运米十万石”至漠南沿线，这样很快完成了扼守大漠南缘、伺机渡漠远征的战前部署。并且为了集中力量对付阿里不哥，忽必烈对 南宋的背约行为也采取克制的态度。他在蒙宋交界线上的江淮和江汉两地，分别派李和史权镇守，只在防卫，并不攻宋。
1260年秋，阿 里不哥兵分两路，大举南下。东路军由药木忽儿、王合剌察儿统率，从和林逾漠南进。西路军由阿兰答儿统领，直指六盘山，接应从四川前线退屯到该地的蒙哥攻宋 主力。阿里不哥的左路军直逼忽必烈的腹地燕京。忽必烈亲自领军主动出击，成功地击溃了药木忽儿和王合剌察儿，造成了阿里不哥难以继续立足和林的局面。阿里 不哥被迫退到了由他继承的拖雷封地吉里吉思，忽必烈则顺利地进至和林。
阿里不哥南下六盘山的西路军虽是偏师，但它牵动川蜀关陕。开 始，忽必烈的守将廉希宪命秦巩世侯汪家的军队拒阻浑都海，做疑兵，“但张声势，使不得东”。浑都海中计，采取了“重装北归，以应和林”的下策。恰巧在北归 途中与阿兰答儿会师。于是浑都海又重新折返东向，并派人约结陇蜀诸将，忽必烈派驻镇守的部队军心大乱，纷纷退守兴元。就在这危急时候，忽必烈的增援部队到 达，最后击败了阿里不哥的部队。俘虏并处死了阿兰答儿和浑都海。这样，往日蒙古大军所占领的中原地区就真正归属于忽必烈统辖了。
阿里 不哥在吉里吉思经过休整，到1261年的秋天，元气稍有恢复，便又举兵东来。这一次，应该说是一次偷袭。他事先遣使者对忽必烈留守的将领移相哥伪称率众归 降，使移相哥信以为真，果然疏于防备，结果突袭成功。移相哥大军溃散，和林城再次失守。10月，忽必烈率军再度北征。这次双方在昔木土脑儿之西展开大战， 阿里不哥被击败。但是不知道是出于什么原因，忽必烈并没有追击阿里不哥就撤退了。阿里不哥听说忽必烈撤退，这时正好阿速台率领的后继部队赶到，于是阿里不 哥回军再战。这一次双方不分胜负，激战到深夜，最后各自引军后退。这一年冬末，忽必烈回师，形势似乎缓和下来。