滕州古为“三国五邑”之地，素有“滕小国”之称。据《史记》、《国语》和明、清、民国年间的滕县志记载：“黄帝有二十四子，赐土得姓者十四。其第十子封于滕”。“滕”字始见于此。当时滕地温湿多雨，泉流腾涌，故以“滕”为名。

周灭商后，武王封其异母弟叔绣于滕，乃称“滕国”。

秦统一六国后，废分封置郡县，于今滕境置滕县、薛县。

汉初，高祖撤小邾置蕃县。汉武帝时改滕县为公邱县。

三国时，魏沿袭秦制。西晋仍袭汉制。隋升滕县为滕郡，郡治滕县；不久又将滕郡改为滕县，北宋兼置滕阳军。

1182年，金置滕阳州，1184年改为滕州，辖滕、沛、邹县和陶阳镇，属山东西路。

元因之。

明之后为滕县，滕县隶属济宁府、兖州府。

清沿明制。

建国后，滕县属鲁中南行政公署尼山专员公署。1953年9月，滕县属济宁专区。1979年1月1日，滕县改属枣庄市。1983年11月，枣庄市齐村区改为山亭区，将滕县东部的店子、冯卯、辛庄、徐庄、辛召、山亭、桑村、城头8个公社划归枣庄市山亭区。1988年5月，经国务院批准，撤销滕县，建立滕州市。