灌云历史悠久，据《尚书·禹贡篇》记载，灌云县境属“东至海、北至岱、南至淮”的徐州之域。西周时地属兖州。春秋战国时期，属郯国，归越地，旋为楚域。秦时是朐县的一部分，先后分属薛郡、郯郡。汉代属东海郡。南北朝时，南朝宋武帝改朐县为朐山县。东魏孝静帝武定七年（549）首设海州于龙苴（今龙苴镇），统辖6郡19个县，灌云县境为东彭城、海西、东海3郡的领地。北齐年间，海州首邑从龙苴迁至朐山，县境乃为海州辖地。至隋、唐、五代十国、宋、金仍为朐山县的一部分，隶属海州。元朝时属海宁州。明初改海宁州为海州，朐山县撤销，县境并入海州。民国元年（1912）废州设县，析海州直隶州为东海、灌云二县，县治始设板浦。因南带灌河水，北枕云台山，取二地名首字为县名，与东海、沭阳、赣榆合称海属4县，属徐海道。1933年3月，江苏省划13督察专员行政区，灌云属东海行政区辖地。解放战争时期，属苏、皖边区第六行政区， 1949年后属苏北人民行政公署， 1953年属江苏省淮阴专署。1983年实行市管县体制，灌云县划归连云港市管辖。

民国设县时沿用旧制，全县政区为11镇，分别为：板浦、大伊、张店、湖坊、铁牛、新安、莞南、莞北、莞读、东路、西路。1927年，全县政区变更为6 市14乡。即板浦市、大伊市、协和市、新莞市、三新市、响水市；14乡为：中飞、西临、苍梧、苍梧北、新县、墟沟、郁林、山前、大西、东辛、苇南、苇北、苇左、双港。1929年全县实行区乡制，为10个区。1934年并为7个区，分别为：板浦、大伊山、新安镇、杨家集、响水口、双港、墟沟，辖122乡， 21镇。1935年因增设连云市，将东海县的部分沿海地区和灌云县的后云台、新县、墟沟、老窑等地划归连云市。 1940年底，灌云县部分地区建立革命根据地。1945年底，全县大部分地区获得解放。县政府驻三星镇（杨家集）。1948年10月第二次解放，县政府驻伊山镇。