山东大学第二附属中学、第二附属小学的前身是“山东工学院子弟学校”,成立于1960年,当时只有4个教学班,8名教师。1971年新增加初中班。1984年随大学更名为“山东工业大学子弟学校”。1991年经上级领导批准,学校正式改名为“山东工业大学附中”“山东工业大学附小”。2000年新山东大学成立后更名为“山东大学第二附属中学”、“山东大学第二附属小学”。
学校始终认真贯彻党的教育方针,坚持“德育放首位,教学为中心,科研为先导,五育并举育人才”的办学指导思想。在历年的中考中该校考取省、市重点的人数均在60%以上,各项成绩均在济南市名列前茅。先后被评为《山东省电化教育示范学校》《山东省体育项目传统学校》《历下区教书育人先进单位》《山工大“三育人”工作先进单位》《综合治理先进单位》《关心下一代工作先进单位》等。在历下区全方位目标管理综合评估中连续多年被评为一类学校。