学校创始人聂云台，名其杰，其父聂缉椝是曾国藩女婿、曾任上海道台。聂云台先生捐地十一亩余，在培开尔路荆州路角（今荆州路42号）由工部局建屋兴学，1916年1月始招生，校名为“聂中丞华童公学”，第一任校长为英国人端纳（L.H.Turner）。1941年易名为“缉椝中学”，1945年抗战胜利后成为一所市立中学，1951年改为现名“上海市市东中学”。2004年，原市东初级中学整体并入，学校成为一所完全中学。
开办初期，采用英国学制，除国语外，其它学科的教科书悉用英国原版书。此外，簿记及机械制图均列为必修科，亦为学校特色之一。开设金、木手工科，注重学生手脑并用，毕业后有一技之长以利就业，这在当时尚属首创。
解放后，学校以“培养劳动人民子弟成为国家栋梁之才”为办学宗旨，以“堂堂正正做人，实实在在做事”为校训，1953年始，逐步形成“两个课堂”并举的办学策略，成为上海市教育改革的试点学校。涌现出一批在上海乃至全国有广泛影响的优秀教师，培养出一大批国家建设的各方面人才。著名教育家段力佩、吕型伟担任解放后的第一、第二任校长。2006年举行九十周年校庆时，校友中有当时的中共上海市委副书记龚学平（后担任上海市人大主任）、纪委副书记洪林珍、副市长周慕尧、人民检察院检察长吴光裕、总工会主席包信宝、台湾文化名人李敖先生以及一大批荣誉校友回母校参加校庆活动。
1994年，学校开展“爱国主义影视教育”，得到了中宣部、文化部、教育部等五部委的肯定，获得了“全国中小学影视教育先进集体”荣誉称号。1997年，学校开展“见习居委主任”活动，拓展了中学生的志愿者服务活动，其首创性得到了共青团上海市委的肯定。2005年2月，学校开展“中学生走进上海市人大”活动，培养中学生公民人格，引起了广泛的关注和好评。
学校先后被命名为“上海市环境教育特色学校”、“上海市科技教育特色学校”、“上海市绿色学校”、“上海市TI数理技术教学实验校”。学校被评为“上海市中小学心理健康教育实验校”，“上海市中学生行为规范示范校”，2006年评为“上海市生命教育实验校”。
