隋朝时期，准格尔旗先属榆林郡，后归胜州管辖。据史料记载，开皇三年（583年）置榆林关，七年置松林县，属云州辖。二十年割云州榆林（准格尔旗十二连城古城），富昌（今准格尔旗天顺圪梁古城），金河（今托克托县哈拉板申古城）三县置胜州。大业五年（609年）炀帝改胜州为榆林郡，仍领榆林、富昌、金河三县，户2230，治所榆林县，辖境包括今准格尔旗和呼市的托克托县、和林格尔县的部分地区。大业三年，炀帝北巡，在胜州榆林县（准格尔旗十二连城古城）设宴招待突厥诸部及契丹、奚等各部酋长3500人，胜州因之名扬天下。

唐贞观三年，唐王朝置胜州（隋时的榆林郡）。天宝元年改为榆林郡，乾元元年复称胜州。领榆林（今准格尔旗十二连城古城）、河滨（今准格尔旗天顺圪粱古城）二县。户1187，人口20952，州治榆林县。