1260年3月，阿里不哥在宗王阿速台等大多数蒙古正统派的支持下于蒙古帝国首都哈拉和林通过“忽里勒台”大会即大汗位[6]。与此同时，忽必烈与南宋议和后返回开平（今内蒙古多伦），在中原儒臣及部分蒙古宗王的支持下集会自称大汗。1260年4月，忽必烈设立中书省，总管国家政务[7]。1260年12月，忽必烈封吐蕃萨迦的八思巴为“国师”，命八思巴率领一些吐蕃语文学者重新创制蒙古文字。成吉思汗建国时，曾由塔塔统阿依据畏兀字母拼写蒙古语言，制成蒙占文字行用[8]。

忽必烈直到1264年才最终战胜阿里不哥，随后迁都大都（今北京），以上都为陪都。然而，支持阿里不哥的窝阔台汗国拒绝归附忽必烈而实际上独立。蒙古察合台汗国被忽必烈、阿里不哥、窝阔台汗国等势力多次争夺，后与窝阔台汗国的海都结盟对抗忽必烈。这两个汗国位于今塔里木盆地、准噶尔盆地、中亚河中地区一带、金帐汗国为术赤之长子拔都在1242年正式建立。伊儿汗国为旭烈兀在1256年正式建立，包括大伊朗等地。金帐汗国在忽必烈与阿里不哥争夺汗位时已实际上独立，仅伊儿汗国承认忽必烈的大汗位，但在忽必烈去世后也独立。造成蒙古帝国实际上的分裂。

1271年忽必烈在其领地内公布《建国号诏》法令，取《易经》中“大哉乾元”之意，正式建国号为“元”。至此，元朝的统治中心完全向中原转移。这是蒙古政权由世界性大帝国转为中原王朝的分水岭。然而在此同时蒙古四大汗国（金帐汗国、察合台汗国、窝阔台汗国、伊儿汗国）先后各自为政，直到1303年元成宗与蒙古诸王在意识到内战是破坏大蒙古国的基业下终于达成议和，四大汗国名义上重新承认元朝皇帝为大蒙古国大汗，彼此间设驿路、开关塞恢复往来。元朝保留了术赤汗和伊儿汗在河东路、河南等处的份地，每年颁给岁赐。伊儿汗国君主即位仍需元朝皇帝遣使册封，颁发“王府定国理民之宝”、“真命皇帝和顺万夷之宝”等汉文印玺，作为元朝的藩属国。此后金帐汗国的数位君主，如脱脱（肃宁王）、月即伯等也得到了元朝皇帝的正式册封。最后引发窝阔台系的海都出兵争夺汗位，造成漠北地区动荡不安，史称海都之乱。忽必烈的政权遂只包括中国与蒙古高原地区[9]。

公元1272年，在刘秉忠规划下，建都于中原的大都（今北京市）[10]。次年正月元旦，忽必烈在正殿接受朝贺[11]。忽必烈建国后，仍然十分注意保持和发展蒙古民族的语言与文化。