原始社會末期，堯封彭祖於今市區所在地，為大彭氏國，徐州稱彭城自始起。
春秋戰國時，彭城屬宋，後歸楚，秦統壹後設彭城縣。
楚漢時，西楚霸王建都彭城。西漢設彭城郡，東漢設彭城國、建都彭城。
三國時，曹操遷徐州刺史部於彭城，彭城自始稱徐州。
魏晉南北朝各代曾設彭城國或徐州，都城或治所多在彭城。
隋時設徐州，後改彭城郡，治彭城。
唐初，徐州與彭城郡名稱多次互易，中後期徐州為節度使駐地。
五代時各朝置有徐州，治彭城，領7縣。
宋元兩朝都置徐州，隸屬和轄領變化較頻。
明初徐州曾直隸京師，後屬南京。
清初，徐州先後為江南省和江蘇省所屬直隸州，雍正末年升為徐州府，因府治彭城縣境內有銅山島，彭城縣始更名銅山縣。
民國初，府廢，徐州府地附郭銅山縣，後曾設徐海道，治所在銅山（徐州）。
日偽時由銅山縣析置徐州市，曾為偽淮海省省會。抗戰勝利後，國民政府仍置徐州市，屬江蘇。 1949年因江蘇省尚未完全解放，徐州市暫由山東省代管。
1953年1月徐州市正式劃歸江蘇省直轄，並同時成立徐州專區，駐徐州市，轄11縣市。此後，徐州市和徐州專區並存，不同時期轄屬有所變化。1983年，江蘇省實行市管縣體制，撤徐州專區，將所轄6縣劃歸徐州市。徐州市現轄6區（雲龍區、鼓樓區、九裏區、賈汪區、泉山區、銅山區）和5縣市（邳州市、新沂市、睢寧縣、沛縣、豐縣）。