格尔木历史虽然短暂，但格尔木市所辖广阔地区是中国历史上西部历史，数千年来，这一带屡经民族递嬗演变，留下了各个民族别具特色的文化遗产也是少数民族轮番更替游牧的地区之一。

      在格尔木市东140公里的诺木洪搭里他里哈遗址发现一处青铜器文化遗存，被命名为“诺木洪文化”，其时代约为中原的西周时期，距今2700多年。那时人们从事农业与畜牧业，饲养的家畜有羊、牛、马、骆驼等。人们身着毛布衣服，脚穿牛皮鞋，佩带各种装饰品，居住的是有榫卯结构的木建筑房屋。劳动之余还吹奏骨笛娱乐。诺木洪文化是中国西部古代民族羌人部落游牧的地区之一。汉武帝时张骞第一次通西域，曾取道柴达木盆地返回，因这里是羌人活动区，故史称“羌中道”。

       西晋末年，辽东鲜卑吐谷浑部迁入甘青地区，以青海为其活动中心。至南北朝时期，在广大羌人的支持下，实现了对长期分散“无相长一”的诸羌的统一，建立起以鲜卑人为中心与诸羌领袖的联合政权吐谷浑国。格尔木地区成为吐谷浑国属地。吐谷浑深受汉文化影响，模仿中原封建社会的某些方式统治国民，使原来处于原始社会末期的羌人开始步入早期的封建社会。北朝到隋初，连接中原与西域的丝绸南道“青海道”一度十分兴盛，青海通分南、北两分道，其中南分道即过日月山，由青海湖南经都兰，格尔木西入新疆及其经西地区的交通线。格尔木以其冲要位置，为中西经济文化的交流和发展发挥过作用。
    1953年9月11日，西北行政委员会民族访问团来格尔木访问期间，宣布成立了阿尔顿曲克哈萨克族自治区筹备委员会，1954年7月15日召开了阿尔顿曲克自治区首届人民代表大会，从此正式成立了海西阿尔顿曲克哈萨克族自治区人民政府。1956年3月1日成立了格尔木工作委员会（1995年10月23日中共中央批准），为县级领导机构。1960年11月17日国务院全体会议第105次会议批准撤销格尔木工委，设立格尔木市。1966年3月27日改设格尔木县，1980年6月14日又改设市。