十六世紀末，廖氏的第七和第八代兩位精通堪輿的族人，力主族人聚居，以使子孫昌盛，宗族繁衍。於是共尋村址，合力建村，即現時的圍內村。圍內村於1646年至1647年間加築圍牆及護城河，藉資守衛，以禦群盜滋擾。全村共分東南西北四個大小不同部分，分別由村內三房的族人居住。

1866年時，廖族約五百成員。其後人口增加而治安好轉，向村外拓展實為必要。1819年至1898年間，莆上村、中心村、門口村等先後建立。這些相鄰的村落後來合稱為上水鄉。

十八世紀時，廖氏勢力至為顯赫，這可見諸他們所建的祠堂──廖萬石堂。而在科舉及第的人亦極多，據族譜所載，中式者共四十七人。

廖族在十九世紀愈見昌隆，增建了兩間祠堂。族內一位要人廖鴻，更在1819年參與編纂新安縣誌，並重編廖氏族譜。

至於「萬石」之名可追溯至宋代。相傳廖氏遠祖廖剛及其四個兒子皆任高官，每人官祿二千石，合共萬石。後人為記念先祖，乃將祠堂命名為廖萬石堂。