康乐园早期建筑即岭南大学旧址，在广州市新港西路康乐村。该大学前身是创办于清朝光绪十四年（1888）的格致书院，是美国基督教人士掌控的教会学校，校址在今沙基（今六二三路）。后来此校两度迁址，迁到澳门后改名岭南学堂。光绪二十九年，美国博士尹士嘉和香山举人钟荣光，把岭南学堂自澳门迁到康乐村。钟荣光到处奔走，募捐了120余万元建校，占地面积约115万平方米。民国16年（1927），分设文理科学院、农科学院、蚕丝科学院、商科学院；另附设高中学校、初中学校、小学校、华侨学校、幼稚园、图书馆、博物馆、教员住宅、学生宿舍，共60余所。其中，图书馆始建于1905年（称“马丁堂”），所藏中西书籍20余万册。

除此之外，今天的康乐园建筑，还包括孙中山纪念铜像、惺亭、乙丑七进士牌坊。七进士牌坊原来在中华中路（今解放中路），旧称四牌楼忠贤坊，有4座牌坊，其中1座是乙丑七进士牌坊。民国36年（1930）扩建马路，乙丑七进士牌坊被搬到今天的中山大学。