在忽必烈的晚年，他的个人生活也遭遇了一连串的挫折和不幸。他最钟爱的妻子察必在1281的去世使忽必烈陷入孤独和痛苦之中。察必所生的儿子真金早已被立为皇太子。察必还是忽必烈妻子当中唯一在太庙中立有牌位的女人。在忽必烈统治初期，察必是一位不可或缺的助手。也许是纯粹的巧合，但是不可否认，在她死后，忽必烈个人，乃至整个中国都遭受了一系列的激烈变故。察必或许不能防止这些灾难的发生，但是她也许能够发挥自己的影响力，遏制忽必烈当时做出的一些稀奇古怪的决定。
南必在察必去世后成为忽必烈的正妻。她是察必的一个远房亲戚。可能是察必知道自己的健康状况恶化后，亲自选定她做自己的继任者。遗憾的是，我们对她的继任者的了解远不如对她的那么多。据说，在忽必烈日渐衰老的时候，南必曾自己做出重要的政治决定。可能因为对察必和其他亲属去世感到忧伤和失望，忽必烈晚年很少见人，他的朝臣不得不通过南必向他呈送报告，而她则把忽必烈的决定和命令转告给他们。汉文史料显示，忽必烈在病重时，曾允许她以他的名义发布诏令，但他们并没有指出哪些具体决定是由南必做出的。和当时其他许多蒙古皇后和贵族一样，她个人是非常自信的，在政治上是很有影响力的。
关于忽必烈其他妻子的记载很少。传统上，蒙古可汗有四个斡耳朵，忽必烈也不例外。他的第一个妻子帖古伦，在他1260年成为大汗之前就去世了。他的最着名、最有影响力的妻子，察必和南必，同属于第二斡耳朵。察必给他生了四个儿子，南必给他生了一个儿子。察必的儿子真金被选定为忽必烈的继承人，另一个儿子朵儿只，先于他父亲而死。其他两个儿子，忙哥剌和那木罕，都未被选定为继承人。
但是，我们看到，忽必烈对他们有足够的信任。忙哥剌被立为安西王（今陕西省），那木罕则是北安王。忽必烈曾派遣他们参加了几次重要的军事远征。他的其他几个儿子，其中包括脱欢，也承担了重要的军事任务，但是他们也受到了被征服地区文化的影响。例如，忙哥剌的儿子和继承人阿难答，就是在一个穆斯林家庭中被抚养长大的。而且，根据拉施都丁的记载，在他成年以后，他使自己率领的十五万军队中的大多数人皈依了伊斯兰教。
对于南必的儿子，我们一无所知。同样，对忽必烈第三和第四斡耳朵的妻子，除了她们生了另外七个儿子外，其他方面的情况我们也是一无所知。
察必无疑是忽必烈最钟爱的妻子，她的去世和皇太子真金在1285年的英年早逝，不仅令忽必烈心碎，而且破坏了他的皇位继承计划。察必的突出地位可以由下列事实证实：在忽必烈所有妻子中，只有她的画像留存了下来，这幅画像是由汉人和蒙古画家联合绘制的。这无疑部分解释了为什么忽必烈晚年在决策方面会反复无常，那是因为他对察必的去世感到深深失望。
同样使他感到悲哀的还有他最喜爱的儿子真金的去世。真金是他亲自选定的继承人，他曾精心培养他，以便将来承担大汗和中国皇帝的重任。真金的老师由当时一些最着名的人物担任，他所学习的科目从中国历史到佛教，无所不包，这一切使他完全有能力承担统治帝国的重任。然而他刚过四十岁便去世了，这场变故使忽必烈心灰意冷，并使整个朝廷充满阴郁的气氛。真金的儿子铁穆耳后来被选定为忽必烈的继承人，并于1294年成为中国皇帝，号成宗。
忽必烈的女儿只有两位在历史上被提及过，我们不清楚他到底一共有几个女儿。不过，这一代年轻的蒙古宫廷女性对政治的影响微乎其微。从成吉思汗的母亲诃额伦开始，一直到察必，蒙古女性都是很强有力的。然而，忽必烈的女儿在政治上没有发挥过任何作用。或许她们受到了汉文化的影响，而汉文化严禁妇女参政，并极力限制她们的政治影响。另一方面，也许忽必烈的女儿根本就对政治缺乏兴趣。不管最后的解释是什么，中国史学家只记载了忽必烈两个女儿的名字。据记载，妙严是一位虔诚的佛教徒，她成了一位尼姑，住在北京西山的潭柘寺，死后葬在那里。
她拜观音菩萨，日夜热心事佛，虔诚地叩头，以至于石阶上她的额印和脚印清晰可见。她的画像曾悬挂于这所寺庙的殿堂上，一本印刷于1935年的北京指南说，当时她的画像还原封不动地挂在那里。忽都鲁揭里迷失是忽必烈的另一个女儿，她也在历史上留下了自己的名字。正如前文所述，她父亲用她达到了自己的政治目的。