居住在海拉尔地区最初见诸史籍的民族是东胡，东胡是中国北方一个古老的游牧民族。秦二世胡亥元年（前209年），匈奴冒顿单于杀父自立，继而向东胡族发动袭击，一举大破东胡，建立了中国历史上第一个游牧民族政权­——匈奴，海拉尔为左贤王庭辖地。

汉朝时匈奴扰边，汉武帝遣卫青出塞北征匈奴，至胪朐河（今克鲁伦河），为中国兵力至呼伦贝尔之始。匈奴即灭，鲜卑人尽据匈奴故地。公元1世纪，东胡族的后裔鲜卑拓跋部逐渐强盛，经海拉尔河“南迁大泽”，海拉尔为鲜卑部落联盟东部辖地

隋时突厥强盛，为其属地。

唐灭突厥，海拉尔地区归室韦都督府辖。突厥的灭亡，使室韦——鞑靼人得以向西逐步推进，呼伦贝尔全境为室韦——鞑靼之地。

宋朝，契丹族复强建辽国，室韦之地尽属，海拉尔地区归属乌古敌烈统军司辖。

元朝建立后，海拉尔地区归属岭北行省和林路辖，并把呼伦贝尔一带封给成吉思汗的弟弟合撒儿。

明朝永乐三年（1405年），在海拉尔河流域设置了海刺儿千户所，归属奴儿干都司斡难河卫。以恺腊儿鞋袒把秃为海喇儿千户，仍为蒙古游牧之地。

清初，游牧于呼伦贝尔诸部于天聪至崇德年间先后归清，清朝即抚有呼伦贝尔全境，直属清理藩院。清康熙二十二年（1683年），归黑龙江将军辖此地。清末，民间以呼伦贝尔城在海拉尔河附近，故亦称之为海拉尔城。原呼伦贝尔城被称为“城里”或“旧街”，隶属呼伦贝尔副都统辖。称铁路两侧至东西交界街逐渐形成的房屋市井为“海拉尔”，是东清铁路交涉分局辖地。光绪三十三年（1907年），海拉尔归属于黑龙江行省。