本校創立於日據時期民國二十九年四月一日（公元1940年，日昭和15年春），校址在臺南市南區仙草里104號，即今大成國中現址。當時校名稱為「臺南市汐見公學校」。次年四月改名稱為「台南市汐見國民學校」。
台灣光復後，於民國34年11月市政府委派陳源泉先生接收為首任校長，35年2月校名改稱「臺南市南區第三國民學校」，36年3月校名改稱「臺南市南區玉泉國民學校」。36年6月又因面臨道路正式命名為逢甲路，再改稱為「臺南市南區逢甲國民學校」。
本校設校之初，因處戰爭時期物資缺乏，校舍以木材建造，設備簡陋，學生大多屬農工之子弟，但因首任校長陳源泉校長，係由省政府派往大陸參觀教育的本市唯一校長，返台後諸多傳統文化頻見在本校發揚，譬本校在書法、珠算等方面，常冠眾校，不無此因。
民國40年間，位處本校現址之台南市立中學，因班級數不斷增加，擴校之議亟盛，逐醞釀與本校對換校址校地，乃於民國42年8月見諸實現，遷至現址-忠義路，遷校之初除高年級學生外，悉由新學區招生，並改由曾人爵先生接任第二任校長，同時校名改稱「臺南市中區忠義國民學校」。民國51年奉市府指定為「重點輔導學校」，民國57年實施九年國民義務教育，本校於八月一日校名奉令改為「臺南市中區忠義國民小學」，迄今。
本校為配合孔廟文化園區之規劃，將逐年縮小編制成為三十班的精緻學校，並自八十八學年度起，將部分學區劃分至鄰近的永福、成功、博愛、進學等國小，爾後本校將依據戶籍設籍先後，每年固定招收五班一年級新生；為實施本計畫，本校現有之校舍建築除禮堂（武德殿）外，分期、分年全數拆除改建，並依據實施小班教學、開放教育的需求，規劃學校改建藍圖，分二期改建，於九十二學年度完成。
本校一向注重生活教育與科學教育生活教育方面，曾三次榮獲教育部门頒以績優獎。科學教育方面，則多次在學生科展榮獲優勝；資訊教育亦為本校重點教學之一，並設有電腦教室一間、E化教室二間且達成班班有電腦，肩負本校學生之資訊教育。
另外本校亦有各項社團如：弦樂團、溜冰隊、跆拳道隊、國術隊、排球隊、羽球隊、田徑隊、劍道社團等，亦是屢創佳績。
本校校長亦曾數次更迭，民國44年9月張石頭先生接任第三任校長，民國52年9月蔡清池先生接任第四任校長，民國64年9月由錢玉慶先生接任第五任校長，民國67年8月由陳先枝先生接任第六任校長，民國75年8月由蔡鐘乾先生接任第七任校長，第八任校長於民國80年8月由本校首任女性校長林雪輝接任，第九任校長於民國88年2月由吳淑美女士接任，民國99年8月由蔡東峰先生接任第十任校長至今。
本校目前學生人數：小學部30班共有824人，附設幼稚園三班90人，教職員工等55人是為孔廟文化園區的精緻小學。
