約於1880至1890年代，何氏家族於現址土地上興建了一幢樓高兩層連果園和花園的半歐陸式華麗大宅，名為「何家園」。何家園石屋於1940年代初香港日治時期興建，當時日軍拆卸多條九龍城的鄉村以擴建啟德機場，因而在聯合道一帶上興建平房安置無家可歸的村民，日軍先將殘破的何家園大宅拆毀，並在其地基上興建一 群包括現時石屋的兩層高中式平房，並改名為「侯王新村」，其後又改名為「侯王廟新村」。戰後大量難民湧入香港，平房區淪為寮屋區，稱為侯王廟新村、荔枝園和何家園。 寮屋區內開設多間片場，據稱石屋曾作為附近的友僑片場之貨倉，後租予「藍恩記山墳墓碑工程」等公司為墓碑廠工場。包括侯王廟新村在內的寮屋區於2001年清拆，石屋成為村內僅存的建築物。