本校位於臺北市中山區，緊臨商業繁華的吉林路和長春路口。自民國54年8月創校成立迄今，歷經8位校長的細心規劃、經營與所有教職員工的努力，如今校舍巍峨聳立，校園內花木扶疏，大王椰高聳雲霄，椰影隨風搖曳，打造成為親師生共同的教育樂園。
民國54年，本校創立並命名為「臺北市中山區吉林國民學校」，首任校長為張文華校長，興建校舍期間，校本部設於長安國小，學生分別暫寄於長安國小、長春國小及中山國小，共計14班。民國55年時，迨校舍正誼樓、明道樓完成後，學生全部遷入就讀。民國57年更名為「臺北市中山區吉林國民小學」。
民國61年，陳鶚校長接任，全校班級增至79班，學校發展除了延續語文教育推動外，並特別加強音樂、體育教育，且成績表現優異，學生田徑隊成為臺北市國小運動會之常勝軍。期間，本校曾與日本樂市小學締結為姊妹校，由本校合唱團代表到日本互訪。教師組徑賽成績更是亮眼，短跑曾破臺北市紀錄，而女教師排球隊曾多次獲臺北市女教師組冠軍，至今不衰。
民國69年，邱明哲校長接任，音樂教學成果甚佳，尤其在合唱團及節奏樂方面，學生均有優異的表現。此時在音樂、田徑曾屢獲臺北市優勝。期間，興建活動中心及游泳池，硬體設備漸趨完善。學校在音樂、體育等藝能科教學奠定優質、穩定的基礎。
民國77年，吳隆榮校長接任，致力於美勞教育的發展，學生亦有優良成績表現。期間，由於學區內十四號公園之拆除及中山區密集之理髮街商業區沒落，以致學生人數銳減至五十多班。
民國85年，黃濟德校長接任，由學生彩繪臨吉林路與長春路之校園圍牆，構圖生動，彰顯本校美勞教學之成果，並持續推動學生手球隊之發展。
民國87年，李調棟校長接任，致力於改善教學環境，整修操場及廁所的設備，遷移停車場，使學童有更多的活動空間，並配合九年一貫課程的實施，努力提昇教師之教學品質。
民國89年，張金調校長接任，發展多元學習，擴增學生課外活動項目，除了校內教師指導的直笛隊、合唱團、黑光劇、皮影戲、田徑隊、手球隊、羽球隊外，另聘請校外教師指導的小提琴、舞蹈、跆拳道、桌球、舞獅、直排輪…等各項文藝及體能活動。在一般教學方面，致力與資訊結合，發展各科教學，建立班級網頁，開闢網路上作文發表－吉林e作家，提昇兒童寫作能力，學生各項表現優異。
民國93年，藍美玉校長接任，致力發展本校特色課程完整的架構，鼓勵並帶領各領域的特色教學發展，使學校朝氣蓬勃、人文薈萃，學生更能快樂學習，並擁有更加優質的學習環境。以學生為中心，以愛為出發點－學校的環境設備、情境布置、課程研發、教材編選、活動規劃、教學設計等均以學生的興趣、能力和需求為中心，以「愛」為教育的出發點，倡導『學生第一』的教育理念。
