香港視覺藝術中心前身為已婚英軍宿舍卡素樓，昔日是舊域多利軍營的擴建部份，建於1900 – 1910 年期間。在1985年軍營移交政府並納入香港公園興建計劃，卡素樓改建成香港視覺藝術中心，並加建玻璃拱頂新翼，在1992年啟用。 這座建築物原由四幢三層高宿舍組成，依山而建層層遞進，在每幢之間設有古希臘式三角形山牆。外牆由紅磚建成，配合灰泥粉刷。東西兩側原是開放式拱形柱廊，屬愛德華古典復興風格，現時為一級歷史建築。 香港視覺藝術中心是一個開放、多向、着重藝術學習和交流的藝術空間。這裏結合專門設備、展覽空間及充滿活力的創作環境，無論是全職的藝術創作者、業餘的愛好者，或對藝術感興趣的大眾，都可以在這裏獲得藝術的養分及創作的機會。中心也邀請藝術家進行跨領域藝術實驗，探索來自其他範疇的知識和科技在藝術創作上的應用可能和潛在力量，從數碼創作、場域特定、到多媒體裝置，在未知中另闢新徑。