5000多年前，内蒙古已经是仰韶文化的分布范围。另见辽河出土的红山文化。春秋战国之前，一些北方的游牧民族，如匈奴和东胡人在今天的内蒙古地区游牧生活。

据史记记载夏桀的儿子淳维在夏朝灭亡后北逃建匈奴，史记还笼统的介绍了淳维北遁后匈奴千余年的历史。

“东胡”一名最早见于成书年代可能是先秦的《逸周书》，《逸周书·王会篇》提到“东胡黄罴 山戎戎菽”，考证认为，早在商初东胡就活动在商王朝的北方。在老哈河与西拉木伦河流域发掘的东胡人墓葬被认为是对上述说法的旁证。

战国后期，燕国、赵国、秦国的领土已经拓展到今天的内蒙古地区，中原的华夏民族开始在阴山山脉南部定居。赵国国君赵武灵王推广“胡服骑射”，打败林胡、楼烦这两个游牧民族之后，在今呼和浩特托克托县建云中城。中原的华夏民族开始在呼和浩特定居。“赵长城”经过呼和浩特北面的大青山。

燕将秦开击败东胡之后，构筑“燕北长城”，在今内蒙古赤峰市南建右北平部，治所在宁城。东胡之后往北迁移。

秦国的北部领土已经拓展到今天的内蒙古地区，成为西部霸主。