黄河水利职业技术学院始建于1929年3月，原名为河南省水利工程专门学校，创办人为时任河南省建设厅厅长的著名人士张钫，首任校长为毕业于国立北洋大学土木工程系的陈泮岭。
1931年6月，升格为河南省立水利工程专科学校。
1942年5月，升格为国立黄河流域水利工程专科学校；
1950年，重建并更名为黄河水利专科学校，黄河水利委员会主任王化云兼任校长；
1958年11月，升格为黄河水利学院；
1961年9月，改建为黄河水利学校；
1998年3月，经原国家教委批准，改建为黄河水利职业技术学院。[1]
2000年，被教育部列入全国首批15所示范性职业技术学院建设单位；
2006年12月，被教育部、财政部确定为首批28所国家示范性高等职业院校。