清代，呼和浩特地区设有三套行政机构。一为土默特左、右翼特别旗，建于清入关前的天聪年间（两旗都统府均驻玉泉区境内）。一为归化城厅，雍正元年（1723年）设，隶属于山西朔平府；乾隆六年（1741年），置归绥道（属山西），厅改隶道辖。一为绥远城将军，始于乾隆四年（1739年）；它管理满洲驻军和满民事务，并节制上述的“旗”和“道”。区境由“旗”、“厅”共管，以民族分治；蒙民属“旗”，汉民属“厅”。
民国元年（1912年），改归化城厅为归化县；民国二年绥远城并入，改称归绥县。区境内仍蒙汉分治，旗县并存。民国三年（1914年）设绥远特别行政区，脱离山西省。
1937年10月，日本军入侵，玉泉区境由“蒙古联盟自治政府”之巴彦塔拉盟的归绥县管辖。后设厚和豪特市，1938年8月1日改建成厚和特别市，继改为厚和浩特市，区境始为市辖。
1945年日军投降后，建归绥市，今玉泉区属之。境内有市的第二区、第三区和第一、第四两区之部分。土默特特别旗仍存，境内因袭蒙汉分治。建国初沿用旧制。
1951年6月调整区划，并改组区公所（市人民政府派出机关）为区人民政府。玉泉区境内有第三区大部和第二区之部分。
1954年2月结束了延续二百多年的民族分治局面，区境内的各族人民统一归当地政府管理。1954年4月25日更市名为呼和浩特市。6月1日更改序数区名。第三区改称玉泉区，这是玉泉名称之始（第二区易名庆凯区，因“庆凯桥”得名。1956年撤庆凯区，其大部分划入玉泉区）。
1966年更名为向阳区，1979年复称玉泉区。1999年7月，原郊区的西菜园、小黑河、桃花3个乡划入，成了拥有农村的城乡一体化的新型市区。[5]