我們的學校，自1966年起便座落於香港仔的田灣山道。而學校的歷史，亦起於1966年。簡單來說，校史可分為「魚類統營處香港仔工業中學」及「保良局慧妍雅集書院」兩個時期。
學校前身名為「魚類統營處香港仔工業中學」，由魚類統營處於1966-2000年間開辦。它是一所政府津貼的五年制工業中學，同學亦大部份都是來自漁民家庭。由於漁民大多知識水平較低，部份更是文盲。因此，身為父母，都希望下一代能夠多學知識以改善生活。故此，魚類統營處在香港仔設立兩所學校（我們的學校及「鴨脷洲小學」），為漁民子弟提供正規教育。
學校成立初期，是一所三年制的實用中學。但因為南區中學學位需求日增，學校自1974年開始，便積極籌劃發展成為一所完整的五年制工業中學。到了1978年，教育司署批准改制，自此，學校的同學可以參加中學會考。
到了1980年代中，香港的捕漁業日漸式微。漁業經常出現虧蝕，不少漁民因此放棄漁業工作，使漁民數目。此外，由於工業中學亦漸漸與主流的文法中學脫節。因此，魚類統營處把學校的辦學權，於2000年9月交給香港保良局。
香港保良局接手辦學權後，把學校易名為「保良局香港仔中學」，並轉型為文法中學。不久，學校獲另一慈善團體「慧妍雅集」捐贈360萬元，支持學校的運作。為了紀念這次善舉，香港保良局決定把學校易名為「保良局慧妍雅集書院」。
學校秉承了香港保良局的辦學方針，五育並重，為同學提供多元化的教育，讓他們汲取知識，鍛煉體格，掌握共通能力及建立優良品格，適應未來社會的需要。
為改善校園環境及學習需要，學校亦曾經進行擴建，興建了新的教學樓，於2004年峻工。現時，學校樓高六層，共有十七個標準課室、兩個會客室、十個特別室，其中包括三個科學實驗室、資訊科技研習中心、電腦室、語言室、圖書館、學生活動中心、地理室及音樂室；並設有禮堂及籃球場。而禮堂、圖書館、所有特別室及課室，都裝有空調設備。
其後，學校獲「保良局李兆忠教育基金」及政府建築署撥款，進行了多項改善工程。當中包括增建兩個新課室、大修及翻新禮堂、語言室，以及禮堂音響系統。並購置儲物櫃、安裝閉路電視系統等，工程大部份已於2009年峻工。
