明洪武四年（1371年），明军攻下东胜州（今托克托县古城），置卫，同年元知院都连帖木儿等率众归附，明于东胜卫附近及鄂尔多斯高原东北部置失宝赤、五花城、斡鲁忽奴、燕只、瓮吉刺五千户所，安置蒙古归附人众，隶东胜卫辖。二十五年，又分东胜卫为东胜左、右、中、前、后五卫，次年，罢东胜中、前、后三卫。东胜右卫治所即今准格尔旗十二连城古城。永乐元年（1403年），东胜左、右卫徙至内地。正统三年（1438年）曾再度复置，但不久又废。

明宣德年间（1426—1435年），蒙古诸部势力日渐向南扩展，威胁明朝北部的安全，明朝也开始在北方陆续设置边镇，构筑边墙，其中延绥边墙就筑在鄂尔多斯高原的南部。这道边墙东起今准格尔旗龙口镇大占村紫城岩，西抵宁夏盐池东北，从此成了内蒙古鄂尔多斯市（原伊克昭盟）与陕西省的分界。