隋朝，隋文帝“悉罢天下诸郡”，实行州、县两级制，开皇三年（583年），改荥州为郑州，此乃郑州得名之始。隋炀帝开通大运河和通济渠后，郑州一度商旅往返，船乘不绝，成为全国水陆交通的重要枢纽。大业十四年（618年），隋朝大将宇文化及杀隋炀帝，隋亡，杨侗趁机在洛阳称帝。开明元年（619年），太尉王世充废杨侗自立为帝，国号郑。这是中国历史的第三个郑国。开明三年（621年），秦王李世民率三千铁骑与拥有十万大军的窦建德发生虎牢之战，窦建德战败，盘踞洛阳的王世充随即投降。

唐代，调露二年（680年），唐高宗李治携武则天游嵩山。唐大周万岁登封元年（696年），武则天赴少室山行封禅礼，因年号为万岁登封元年，而改嵩阳县为登封。自安史之乱后，黄河流域的生产遭到破坏，中原地区千里萧条。北宋建都汴京后，郑州于崇宁四年（公元1105年）被建为西辅，成为宋代四辅郡之一，自北宋开始，讲学之风盛行，国内各地多选山林名声之地建立书院，位于登封峻极峰下的嵩阳书院是当时的四大书院之一。金代和元代时期，郑州的土地大量荒芜，经济发展基本处于停滞状态，唯有天文学的发展取得了一定成就，由郭守敬和王恂主持在全国设立了27个天文观测台，登封的观测台则是全国观测中心。

明朝建立后，为改变中原人烟稀少土地荒芜的状况，先后从浙江和山西等地迁民至河南，当时，荥阳和中牟等县都有不少移民落户。明末各地起义不断，崇祯八年（1635年）李自成的义军攻占汜水、荥阳等县，进军广武山。为了突破明朝军队的围剿，13家义军72营共计20余万人，在荥阳聚会，商讨作战方略，史称“荥阳大会”。明末清初，约40年的战乱，黄河堤防失修，有的地段常年决口，漕运影响甚重，康熙元年（1662年）6月，黄河泛滥，中牟城西、南、北三关均被水淹，康熙二十二年（1683年）修筑高4丈，宽10丈的黄河堤。清末，随着平汉和陇海两条铁路在郑州交汇，郑州成为中国东西、南北大动脉的纽带，经济地位不断提升，成为一个重要的农副产品集散地和工业品输入的小商埠。