距今约10500年至8600年的新密市李家沟遗址出土遗物揭示了中原地区旧石器时代晚期至新石器时代，居民从以狩猎为生过渡到以种植粮食与狩猎并重的历史。在新郑市裴李岗发现的距今约8000年的裴李岗文化遗址表明当时的人民已开始饲养家畜并从事家庭手工业生产活动，原始农业生产在黄河流域的发展是中华文化产生和发展的基础。位于郑州市区内的大河村大型古代聚落遗址，是仰韶文化的典型代表，遗址中许多保存完好的房基，以其独特的“木骨整塑”的建筑工序和施工方法，为研究中国古代建筑提供了重要实物。

从五帝到前商，郑州因是五帝、夏、商三朝的腹地而成为中华文明轴心区。约5000年前，轩辕黄帝生于轩辕之丘，37岁时定都于新郑，他被视为中华民族始祖。郑州郊区西山古城遗址因在时间上恰好与黄帝所处的时代相吻合，被有关专家认为是黄帝的都城。西山古城遗址在中国古代建筑发展史上具有里程碑式的意义，它开启了中国古代大规模城垣建筑规制的先河，其建筑方法和形制结构对后世的建筑产生了深远影响，对当代研究华夏早期文明的起源也具有重要的意义。

公元前2070年至前1600年，夏朝的元老人物禹建都于登封阳城王城岗，以嵩山为中心的伊洛河和颍河上游一带以及山西南部是夏人的活动中心。商部落从君主契开始至商汤共迁徙8次，公元前1675年，商汤以“吊民伐罪”的名义攻占夏朝国都封丘，灭掉夏桀，创立中国历史上第二个奴隶制王朝，商汤建都今郑州市区一带，史称西亳。现存的郑州商城遗址有内外两重城垣，内城城垣呈长方形，外城城垣呈圆形围绕着内城。其“外圆内方”的城郭布局体现了古人“天圆地方”的宇宙观。它的规模超过中东两河流域的巴比伦城和亚述城，以及印度恒河流域的摩亨佐-达罗。

公元前1046年，姬发灭商殷建立西周，定都于镐京，周王将其弟管叔封于郑州，称管国。除管国外，周王在郑州的封国还有郐国、东虢国、祭国和密国等。公元前770年，西周灭亡后，郑武公与秦、晋、卫三国联军击退犬戎，受封卿士，留洛阳执政。不久因护送周平王迁都洛阳有功，受赏虎牢之地。郑武公将郑国国都建在荥阳，成为郑国第二代国君。郑国随后吞并了郐国、东虢国和胡国，前765年，郑武公迁都至原郐国所在地，为区别陕西华县的郑国，而将河南的郑国定名新郑。