徐州在历史上并不属于山东，徐州历史悠久，6000多年前徐州先民就在此生息劳作。三国时曹操迁徐州刺史部于彭城，彭城始称徐州。清初徐州先后为江南省和江苏省所属直隶州，雍正十一年（公元1733年）升为徐州府，辖领1州7县。

民国初，废徐州府，府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。抗日战争时，由铜山县析置徐州市，曾为汪伪国民政府淮海省省会，中国共产党领导人民建立淮北抗日根据地。中华民国时期，徐州为国家重点建设的八大城市之一。

抗战胜利后，国民政府仍置徐州市，属江苏省。著名的三大战役之一的淮海战役就是以徐州为中心展开的。1949年因江苏省尚未完全解放，徐州市暂由山东省代管。1953年划回江苏省，并同时成立徐州专区。专署驻徐州市。