徐州历史悠久，6000多年前，徐州先民就在此生息劳作。原始社会末期，尧封彭祖于今市区所在地，为大彭氏国，徐州称彭城自始起。

  春秋战国时，彭城属宋，后归楚，秦统一后设彭城县。楚汉时，西楚霸王建都彭城。西汉时属楚国，东汉属彭城国。
  三国时，曹操迁徐州刺史部于彭城，彭城自始称徐州。
  魏晋南北朝各代曾设彭城国或徐州，都城或治所多在彭城。
  隋时设徐州，后改彭城增添郡，治彭城。
  唐初，徐州与彭城郡名称多次互易，中后期为节度使驻地。
  五代时各朝置有徐州，治彭城，领7县。
  宋、元两朝都置徐州，属归德府。隶属和辖领变化较频。
  明初徐州曾属凤阳府，直隶京师，后属南直隶。清初，徐州先后为江南省和江苏省所属直隶州，雍正十一年（公元1733年）升为徐州府，辖领1州7县。
  民国初，徐州府废，府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。
  日伪时由铜山县析置徐州市，曾为汪伪中华民国淮海省省会。民国时期，徐州为国家重点建设的八大城市之一。战胜利后，国民政府仍置徐州市，属江苏省。著名的三大战役之一的淮海战役就是以徐州为中心展开的。

  1949年因江苏省尚未完全解放，徐州市暂由山东省代管，后划回江苏省，并同时成立徐州专区。
  1970年，徐州专区改称徐州地区。

  1983年，江苏撤销地区专员公署，实行市管县的建制。

  1993年，徐州调整市、县行政区划：将铜山县的青山泉、大泉、紫庄、江庄，鹿庄、汴塘、大吴、塔山、耿集9个乡及矿区的青山泉、董庄、旗山、权台4个街道办事处划为贾汪区管辖；将铜山县的拾屯乡和夹河乡的火花、群英2个村划为矿区管辖；将徐州郊区更名为泉山区。

  1998年经省人民政府批准，将新沂市炮车镇划为邳州市管辖；将邳州市合沟镇划为新沂市管辖。将铜山县潘塘镇划为徐州泉山区管辖；撤销泉山区潘塘镇，设立潘塘街道办事处。
  2010年9月28日起，徐州九里区行政管辖权和司法管辖责任全部移交给铜山区、鼓楼区和泉山区。撤销九里区和铜山县，同时设立徐州铜山区。其中，原九里区所辖10多个街道办事处，分别并入铜山、鼓楼和泉山3区。调整后，徐州管辖的6县（市）5区将变为5县（市）5区。市区面积从1159.9平方公里增至3037.3平方公里，居中国第8位，市区人口从184.3万增为306.4万。

  2013年8月9日，经省政府批准，徐州撤销11个镇、调整6个镇的区域，共设置17个街道办事处。调整涉及面积1426平方公里，156.4万人口。

  2005年5月18日，国务院批准将铜山县大黄山镇和大庙镇划为徐州鼓楼区管辖。