辽金以前

匈奴冒顿单于在夺取单于之位后，公元前206年灭了东胡，统一了现在的蒙古草原，建立了强大的匈奴帝国。并对秦朝产生威胁。匈奴帝国疆域十分广阔，疆域最东达到辽河流域，最西到达葱岭（现帕米尔高原），南达秦长城，北抵贝加尔湖一带。内蒙古地成为了匈奴与中原王朝争夺的焦点。

东胡被匈奴冒顿单于击败，馀部聚居乌桓山和鲜卑山，形成后来的乌桓族与鲜卑族。从此东胡的名字从历史上消失。乌桓山和鲜卑山都在今天的内蒙古境内。东汉末年，乌桓部落被曹操攻克，乌桓山便不见于史籍。

匈奴势力期间两次分裂成北匈奴和南匈奴，其中北匈奴逐渐北迁、西迁。南匈奴逐渐内徙，后在五胡乱华期间被消灭。

秦始皇修筑万里长城，连接和增建加固从前各国的长城，以防御匈奴。阴山山脉南部，如云中郡，是边防重镇。

两汉时修筑汉长城并且对匈奴的三百战争最终取胜，汉朝全盛时，在今天的漠南地区置五原郡、朔方郡，辖境相当于今巴彦淖尔市、包头市和鄂尔多斯市一带。著名将领吕布就出生于此。

鲜卑起源于辽东塞外鲜卑山，后主要活动于内蒙古东部科尔沁右翼中旗哈古勒河附近。内蒙古是两晋南北朝时期胡人迁入中原的主要发起地之一。4世纪西晋灭亡后，鲜卑陆续在今天的中国北方建立前燕、代国、后燕、西燕、西秦、南凉、南燕及北魏等国，而漠北则由鲜卑别支柔然称霸。

439年拓跋鲜卑人建立的北魏统一北方，之后时常与柔然发生冲突。而后北魏经历六镇之乱后分裂成东魏、西魏，东魏、西魏随后也分别被北齐、北周所篡。最后北周统一华北，于581年因杨坚篡位而亡。称霸塞北的柔然汗国也于552年为突厥汗国所灭。