民國紀元前十年(日本明治三十五年)二月二十四日，以嘉義公學校(現今嘉義市崇文國民小學)分校名義招生開辦。設校當初，商借外林庄林皆先生座落於嘉義西堡水掘頭一O七番地之三建築敷地及住屋充為校地及臨時校舍、改設成兩間教室(面積二二．七坪)，一間辦公室(面積八坪)，一間教師宿舍(面積八坪)，一切準備就緒，於同年三月二十四日正式開學授課。到民國紀元前九年(日本明治三十六年)五月二十六日，正式獨立，校名改稱水掘頭公學校，修業年限六年，同年六月二十日林皆先生將其所有土地捐贈給水掘頭公學校。
民國三十四年十月二十五日台灣光復，本校由台南縣政府接管，民國三十五年．一月十五更改校名為台南縣水上鄉第一國民學校。同年六月一日因台灣省行政區域調整，本校劃歸嘉義市管轄，校名改稱嘉義市立水上國民學校，同時廢止高等科。同年十一月十三日更改校名為嘉義市水上區水上國民學校。民國三十六年十月二十五日，由本校劃六班級學生歸南靖國民學校。民國三十九年十月二十五日，本省行政區域調整，嘉義改縣，本校隸屬嘉義縣，校名改稱為嘉義縣水上鄉水上國民學校。民國五十四年八月一日由本校劃六班學生歸回歸國民學校(即今之北回國民小學)。民國五十七年九月一日，校名改稱為嘉義縣水上鄉水上國民小學。
