历史记载，商丘古城在历朝历代均为名都大邑。甲骨文中有“商”、“丘商”、“大邑商”、“天邑商”等地名，都是指的商丘这个地方。
史载一万多年前的远古时代，燧人氏在商丘建立燧明国，发明了钻木取火，使人类结束了茹毛饮血的历史，开创了华夏文明，被尊为三皇之首。
公元前24世纪，五帝之中的颛顼高阳氏曾迁都商丘 ，五帝之中的帝喾高辛氏都亳（商丘）。
后来帝喾封他的儿子阏伯（契）于商（今商丘）。抛开三皇五帝的远古传说，自契（阏伯）于商丘建都，商丘古城也有四千五百年的历史了，四千五百年来这座城池所创造的文明，足以推动整个华夏文明滚滚向前。
阏伯是商族的始祖，阏伯在公元前2400年，发明了以火纪时的历法，在管火的同时曾筑火神台观察星辰，以此为依据测定一年的自然变化和年成的好坏，为中国古老的天文学作出了贡献。阏伯在他的封地“商”（今商丘）做火正，深受人民的爱戴，故人们尊他为“火神”。阏伯死后葬于封地，由于阏伯的封号为“商”，他的墓冢也被称为 ”商丘”，即今商丘的由来。“商丘”二字，最早的含义就是“居住在丘岗之上的子姓氏族（商族）的聚居地”。“商丘”二字，也是商朝都城遗址之意。商丘无愧为中华文明的发祥地。
秦朝时，设立郡县制，商丘古城成为砀郡的政治、经济、文化中心。秦朝末年，汉高祖刘邦为砀郡长，以砀郡兵马起义。
汉代时，商丘古城再一次被推到中国的风口浪尖上。刘武是刘邦的孙子，被封于梁国，都城在商丘古城之下。刘武凭借着七国之乱为朝廷立下的赫赫战功，成了大汉帝国的一个“关键先生”。《汉书》记载，刘武“以窦太后少子故，有宠。王四十余城，居天下膏腴之地，赏赐不可胜道，府库金钱且百巨万，珠玉宝器多于京师”。就是这个深得窦太后喜爱，可以与皇帝同车、同饮、同游猎的梁孝王，以雄厚的实力为商丘留下了一笔宝贵的财富。
仿佛为了显示自己地位的特殊，梁孝王在睢阳大治宫室，建起了三百里梁园，园中亭台楼阁、离宫别馆、花鸟虫鱼、珍禽异兽，天下奇珍应有尽有，其规模和设施可以和皇家园林相媲美。偏偏这个人物又是一个极风雅的人，他网罗了一群文人墨客，当时颇具盛名的枚乘、邹阳、司马相如等辞赋大家都汇集在他的门下，整日填词作赋，把酒言欢，把睢阳城装点得辞藻华丽、文风鹊起。这股华美耀眼的梁园文风也刮到了几百年之后的盛唐，以致王昌龄、李白、高适、杜甫、岑参等诗赋大家纷纷慕名前来，游历梁园，在此留下了许多传世佳作。“一朝去京国、十载客梁园”，诗人李白为商丘留下的不仅是精彩篇章，更是可圈可点以资传承下去的丰富文脉。 商丘古城自古有“江淮屏障”、“兵家必争之地、商贾云集之所”的美誉。尤其是隋唐时期的商丘，大运河的通航，西到京师，南达江淮，北到幽燕，十分便利，漕运商旅，八方辐辏，粮商、盐商、茶商、丝商等均集聚于此，大大促进了商丘的商业活动，使之成为当时闻名遐迩的商业大都市。隋朝开凿大运河的目的是便于南北交通，促进南北政治、经济交流。商丘是当时东方重镇，从国都赴东部、东南部等地，商丘是交通要道。古人评价商丘说：“襟带河济，屏蔽淮徐，自古争在中原，未有不以商丘为腰膂之地。”因此开凿大运河弃古汴水而改走睢水（通济渠），途经商丘，除为了缩短距离，商丘战略地位重要也是因素之一。
显然，大唐时期的商丘已成为当时中国著名的大都市之一。杜甫游历商丘古城时写下《遣怀》一诗：“昔我游宋中，惟梁孝王都……邑中九万家，高栋照通衢。舟车伴天下，主客多欢娱。”李白在《梁园吟》中写道：“舞影歌声散绿池，空余汴水东流海。”商丘古城在这一阶段最令人惊心动魄的记忆，当数安史之乱时大唐名将张巡在这里打的一场最为惨烈的睢阳保卫战。但付出的却是古城十室九空的惨痛代价。于是，重创下的商丘很是沉寂了一阵子，直到宋太祖赵匡胤发迹于此。公元1127年，赵构在南京应天府（今商丘古城）登基称帝，建立南宋。 明朝弘治年间发生的黄河水患致使归德府城被湮没于黄土之下，弘治十六年（公元1503年），商丘人民在原归德府古城原址附近破土动工重建古城，历时八载，于明正德六年（公元1511年）基本竣工，之后又几经修补完善。直至嘉靖十九年（公元1540年）在城墙外约500米的圆周上筑起新的城郭，才形成城墙、城湖、城郭三位一体，形如“‘古铜钱币’外圆内方”的独特格局。修建成的商丘古城城墙周长3.6 公里，砖城内面积1.13平方公里，有东西南北四门，城内地势为龟背形，共有93条街道。
明嘉靖以后至清初，城内出过两位大学士（宰相）、五位尚书以及十几位侍郎、巡抚、吏卒、总兵、著名文人，因此，官府、官宅建筑颇多，古建筑多为走马门楼和四合院建筑群。原有的水井、厕所为梅花形状，布局合理。南门两侧建有两个水门，将水排进护城河。宽阔的护城河碧波荡漾，环绕全城。城南河面较宽，南北500多米，东西1300多米。护城大堤距城墙约500米，周长9公里，基宽20米，顶宽13米，高3.3米。为了古城的长久存在，不得不考虑黄河定期不定期的漫、溢、决口和改道的造访（据统计，新中国成立前的3000多年间，黄河下游发生的漫、溢、决口和改道约有1500余次，其中在16世纪，平均4、5年就要发生一次）。 1986年，商丘古城被国务院公布为中国第二批国家级历史文化名城。
20世纪90年代初，美国哈佛大学的华裔考古学家张光直教授从美国上世纪60年代的航拍照片上发现：在商丘古城及其西南部的方向，地下隐约叠压着几座古城的遗址。随后，他极力建议中美联合发掘商丘古城，并希望在此基础上找到这里的先商遗址。四年之后，中国社会科学院考古研究所与美国哈佛大学皮博迪博物馆联合组成考古队，在坦荡如砥的豫东大平原的一层层黄沙之下，找到了从上至下叠压着的明弘治十六年之前的归德府城、宋代应天府南京城、隋唐时代的宋州治所宋城、汉代梁国国都睢阳城和西周宋国故城。
1996年，商丘古城归德府城墙被国务院公布为第四批全国重点文物保护单位。
2006年，归德府城下叠压的宋国故城被国务院公布为第六批全国重点文物保护单位。 同年，商丘古城被国家旅游局公布为国家AAAA级旅游景区。
2007年，中国民族贸易促进会主办的2007年首届中国旅游论坛在北京人民大会堂盛大开幕，国内著名旅游景区、旅游饭店、旅行社等150多家旅游团体参加了论坛。论坛还成立了古城古镇古村联盟，并评选商丘古城为“中国十佳古城”。
2011年3月29日，通过的大运河申报的世界文化遗产预备名单中，商丘古城被列入申遗“后续列入项目”。
2011年7月8日，在“美景中国・中国最美潜力景区排行榜”官网评选中，商丘古城位居“中国最具潜力的十大古城排行榜”第一名。
2011年11月30日，商丘古城重建500周年庆典活动隆重举行，国家文化部文化产业司副司长李小磊、河南省政协副主席王平、国家文化部非物质文化遗产司司长马文辉、河南省旅游局局长范修芳、河南省文化厅厅长杨丽萍等出席。商丘市荣誉市民、商丘古城形象大使大山主持庆典活动开幕式。
2012年11月1日，商丘古城以其水利特色突出、文化品位高被国家水利部批准为国家水利风景区。
2013年10月11日，在举行的首届澳门国际旅游博览会上，经过专家团推荐和网络选拔，商丘古城最终荣获“中国十大最有投资潜力旅游目的地”称号。
2014年6月22日，中国大运河成功申遗，商丘古城被列入世界文化遗产大运河后续列入项目。
2014年11月29日，在国务院新闻办公室、国家互联网信息办公室新闻局和文化部外联局的指导下，由中国日报网主办的“美丽中国发展论坛暨第一届最美中国符号品牌榜颁奖盛典”在北京召开，商丘获得“第一届最美中国符号品牌榜・最具文化底蕴历史文化名城”荣誉称号。
2016年2月，商丘古城获评“中国华侨国际文化交流基地”。