在金乡县这片土地上，新石器时代就有人类活动。夏为有缗国，系舜子季禧的封地，是当时汶，泗流域通向中原河洛地区的咽喉。东汉建武元年（25），省爰戚，置金乡。据考证，汉武帝天汉四年四月（公元前97年），封子刘髆为昌邑王，十一年薨，葬於高平山。初在山北凿墓得白兔，以为不吉，更葬山南，凿而得金，故改名曰金多山，后除爰戚为金乡县，县名自此始至今，已1900多年。
据《金乡县志》载，金乡县治原在今嘉祥县阿城铺。北朝魏，县治迁东缗故城，即今址。明弘治十六年（1503），重修土城，新建四门。东门名东作，西门名西城，南门名南熏，北门名北拱。“城周长七里三十步，城根阔一丈七尺，顶阔五尺，城外为隍，阔四丈六尺，深一丈一尺”。明万历六年（1578）二月，“复修城池，讫于七年七月。城基增阔到二丈七尺，顶阔增到一丈二尺，高提到二丈三尺.又计地输柴，烧砖三百余万，爰新东西门楼，增高六尺，易城土女墙以砖，修砖垛二千一百八十三，增城铺十五座，重以瓮门，临以凌堑，巍然焕新，讫为雄镇”。清康熙十二年（1673），四十九年（1710），两次补集。乾隆三十八年（1773）至四十三年，重修砖城，“基宽一丈七尺，顶宽一丈一尺，周围一千零三十六丈。官修二段，四百五十丈六尺二寸；民修四段五百八十五丈三尺八寸。四门增修城楼，大券台，月城券台，马道，吊桥各四座”。咸丰九年（1859），新修城廓，“根基阔三丈五尺，顶阔一丈五尺，高一丈五尺，周长一千六百余丈”。十一年（1861），绅士李垒等输资建四城隅炮楼。