上水廖族先祖廖仲傑於元代（1279-1368年）中葉自褔建南遷廣東，初居屯門，旋遷深圳河以北的福田村，最後才在上水雙魚河定居，他的子孫其後散居附近一帶。 十八世紀時，廖族勢力至為顯赫，這可從他們所建的祠堂 — 廖萬石堂中印證。廖萬石堂始建於雍正初年，並於乾隆年間重修，屬三進兩院式建築。整座建築裝飾華麗，灰塑、木刻、壁畫、泥塑等比目皆是，題材多為傳統吉祥圖案。 1932年，廖族為提倡教育，培育人才，將廖萬石堂改作鳳溪小學。1974年，鳳溪小學遷往新址。廖萬石堂於1984年及1994年進行重修。廖萬石堂於1985年列為古蹟。