「大直」原本是臺北市郊區的農莊，人口稀少，交通不便，早期沒有任何公車通往市區，只有從圓山往明水路到達北安路，是一條筆直的大道，所以命名為「大直」。在政府推行國民教育政策下，為使此地農村子弟能就近接受國民義務教育，乃於民國37年8月利用舊時「農事組合集會所」的場地（就是現在的校址：大直街2號），創設「大龍國校分教室」提供就學機會，當時只收一班。民國41年元月因行政區隸屬中山區，因此改稱為「中山國校分校」。民國42年2月正式獨立，正名為「大直國民學校」，周有進先生為首任校長。歷經幾任校長的經營，使義務教育向下紮根，向上開花結果。近年來因社區快速的發展，人口漸多，學校規模逐年擴大，民國57年8月實施九年國民義務教育，改制稱「臺北市中山區大直國民小學」。由於歷任校長苦心經營及全體教師全心全力投入，再加上家長們的支持，使校務蒸蒸日上。民國73年8月成立啟智班，加入特殊教育行列，照顧智能不足之學童。民國77年2月被教育局指定為「完全學習」實驗學校，同年8月1日成立附設幼稚園並開始招生。
