远在4000多年前的新石器时代，就有先民在胶州这块地方定居，他们创造了具有滨海特点的大汉口文化和龙口文化。夏、商时期，胶州地属莱夷。周初，武王“封少昊之裔兹舆期为莒子，都于计”。计，即计今城，原址约在今胶州南关城子村。西周时期，胶州境内还封有一个介国，都城在今胶州南杜村乡赵家城献附近。公元前600多年时，介国开始衰落，后来，计、介两国都被齐国吞并。到了秦代，天下归一，始皇帝赢政在原齐地设立了琅琊、胶东和临淄等五郡......
    公元529年，北魏始设胶州（以境内有胶河而定州名为胶州），州治设在东武城（现在的诸城市），辖东武、高密、平昌三郡，共14个县。公元585年，胶州改名为密州。隋初，撤平昌郡。公元596年，设胶西县，后于公元623年经唐王朝撤消，被并入高密县，在原胶西县的东部临海处设立了板桥镇。自此，由于这里海路通达，对外贸易逐渐兴盛起来，到了宋初，板桥镇已经发展成当时我国北方唯一的海关重镇。
    公元1087年，北宋设胶西县，第二年又把板桥镇改为胶西县，并在这里设立提举市舶司，为当时金国五处市舶司之一，提举市舶司还兼临海军使。公元1369年，明朝又撤消胶西县。两年后，胶州建州署于内城。公元1734年，清政府裁灵山卫，将其地并入胶州。1904年，胶州升为直隶州（与府平级），直属山东布政使司。当时，胶州经济繁荣，文化昌盛，商贾如云，“金胶州”美称远播九州。
    1938年1月，胶州被日军侵占。新中国成立后，1950年5月设胶州专署，后于1956年4月被撤消，胶州归昌潍专属。后又几经转折，1987年2月12日，经国务院批准，在胶州撤县建市（县级），原胶县行政区划改为胶州市行政区域，由青岛代管。