北宋时首都位于东京城。此时的河南地域属于京西南路、京西北路和开封府路。北宋末期的开封府东京城，又称汴梁、汴京（今开封），人口有一百多万，成为当时世界上最大、人口最多、最繁荣和最壮丽的城市，宋徽宗宣和年间的画家张择端的清明上河图，即描绘了当时东京城的繁华和壮丽，生动记录了中国十二世纪城市生活的面貌。

靖康二年(1127年)—建炎四年（1130年），来自于今东北地区的女真族的大金国的侵略军从燕云十六州一直入侵到江西赣州和浙江明州。有数百万难民迁往南方。该区成为金朝南京府路和河南东西路管辖，在金朝盛时依然是金朝经济最发达的地区之一。1194年，黄河改道，从今天江苏北部挤占淮河河道入海。1214年，在金朝受到蒙古帝国频繁入侵后，将首都从燕京迁到开封，称南京。

1234年2月9日金被南宋和蒙古帝国联军所灭。而后蒙古人建立了河南江北等处行中书省，开封是治所。在蒙金战争的过程中，包括河南在内的北方遭到毁灭性的破坏，除极少数人逃亡外，其余的绝大多数人死亡，造成数千里无人区，大批水利设施被有计划有组织的破坏，黄河泛滥也日趋严重，从此河南失去过去长期拥有的优势。

在元末民变时，河南是遭受战争破坏严重的地区，千里无人烟，洪武年间由朝廷强制性组织了从山西来的大规模的移民。

1368年，大明建立，河南的省界已经与今天大致相同。下设8个府：开封、河南（洛阳）、归德（商丘）、南阳、汝宁（汝南）、卫辉、彰德（安阳）和怀庆（沁阳）。在开封还驻有周王。1641年，李自成攻占洛阳，杀福王朱常洵。1642年李自成围攻开封期间，黄河被掘开（有说李自成扒河，有说明军扒河），全城37万人只幸存3万人。

明末清初（1630年—1662年）的战争，河南也是遭受战争破坏严重的地区。康熙时，河南的农业经济得到恢复，期间重新开始成为重要的人口集中地和粮食主产区。开封仍为豫省省会，开封同时获得自明末李自成所酿“人祸”和清初的战乱以来的再次繁荣。和《石头记》、《海上花列传》等同样享有盛誉的清中期的豫人小说《歧路灯》中，对故事发生地省城开封的描述引人入胜。