近代的考古发掘中，在开封的万隆岗遗址中，在尉氏县县城西南的开封断头岗，发现了一处新石器早期裴李岗文化遗址。考古发掘证明，早在五、六千年前，在开封就已经有了人类活动。
夏朝（帝杼）曾在开封一带建都232年，史称老丘。公元前8世纪，春秋时期的郑庄公在今开封城南朱仙镇附近修筑储粮仓城，取“启拓封疆”之意，定名启封。汉初因避汉景帝刘启之名讳，将启封更名为“开封”，这便是“开封”的由来。
公元前361年，战国时期的魏惠王迁都大梁，这是开封有明确历史记载的第一次建都。魏惠王迁都大梁之后，他引黄河水入圃田泽（今郑州圃田）开凿鸿沟、引圃田水入淮河。水利既兴，农业、商业得到极大发展，日趋繁荣。他还修长城、联诸侯，国力日盛，乃得称霸于诸国，使大梁城与秦国的咸阳、楚国的郢都并列，成为当时国内最发达的名都大邑。魏国在大梁建都，历六世136年。在这136年里，曾发生了孟子游梁、窃符救赵，以及孙膑、庞涓等诸多故事，也给开封遗留下不少古迹，不愧被人称为开封古城第一都。秦统一六国后，实行郡县制，开封作为败亡国的国都被降为浚仪县，属三川郡。“浚仪”作为开封的名称，一直沿用了八百年左右。 公元534年东魏孝静帝时，设立梁州辖陈留、开封、阳夏三郡。北周武帝建德五年，改梁州为汴州，这是开封称汴之始，由县治改为州治，失落了数百年的开封重又慢慢的恢复了元气，开封也成为北魏对南部各朝作战的水运线上的八个重要仓库之一。北齐文宣帝天保六年（555年）和天保十年（559年）分别建了著名的建国寺（大相国寺）和独居寺（今铁塔一带），佛文化的发展对后来的东京文化的勃兴做了前期的准备。隋炀帝时期开凿的两千多公里的大运河是沟通南北的大动脉。大运河的中段就是联通黄河与淮河的汴河。位于汴河要冲的开封，又是东都洛阳的重要门户，占尽天时地利的开封迅速发展。进入唐代之后，开封也是水陆便捷的大都会，唐高祖武德四年（公元621年））设汴州总管，唐玄宗天宝元年（742年），汴州一度改为陈留郡。唐德宗建中二年（781年），李唐的宗亲李勉到汴州任节度使，他增筑周围达22里的汴州城。后来李希烈叛乱时，靠汴州城阻叛军数月。永平节度使李勉扩建汴州城，规模宏大，坚固宽广，是今日开封城的雏形。五代时期，除了后唐之外，后梁、后晋、后汉、后周先后定都于开封， 称之为“东都”或“东京”，这一时期的开封正式取代了洛阳成为那个时期的政治、经济、文化、军事中心。后梁定都开封十七年，时间虽短，但开封的租赋较轻，人民得到休养生息。同时，梁定都开封，使中国的政治中心从西部转向东部平原地区，具有重要的里程碑意义。923年，后梁灭亡，继起的后唐定都洛阳，开封仍置宣武军。936年，石敬瑭灭唐，建立后晋，又从洛阳迁都开封。947年后晋亡。后汉立国仍定都开封，951年，郭威发动澶州（今濮阳）兵变，灭后汉建后周。郭威勤政爱民，大力改革使后周出现了新的气象。954年，周世宗柴荣即位。柴荣在郭威的基础上，整顿朝纲，改革弊制，在内政和军事都取得了很大进展。他三次征伐南唐，夺得“淮南十四州”的土地，并恢复了江淮漕运，使开封经济进一步提升。955年，他又发动10万民夫在原汴州城外筑外城。