在宋朝年间，釜涌境（今唐家）鹅峰岭山脚还是一片海滩，为“五马归槽”之地。山上林木葱茏，满布藤蔓。相传有一位渔夫经常在晚上经北面的山林边出海捕鱼。一天傍晚，清风明月，天朗气清，忽听见丛林里传来钟鼓声，梵音悠悠，香烟袅袅而出。渔夫感到好奇，循声寻去。将至，木鱼声慢慢消失，香烟也慢慢散去。只见树林里出现一闪一闪的灵光，趋前一看，发现是一块形似佛祖的石头。渔夫以为是佛祖显灵了，便将此奇事广而告之。四乡信众闻之纷纷前来拜佛祖，“凫趋而至者，所求无不灵应”。于是村人在这里建起一间小庙，称“圣堂庙”。当时该庙是用乱石三合土砌成的墙脚和用蚝壳砌成的墙身，碑刻的石质也非常粗糙。后来进行重修，并扩建文武帝殿、金花庙，共称为“三庙”。三庙佛道并崇，香火鼎盛，成为香山县上恭镇（今属珠海市唐家湾镇）规模最大的一处“香火丛林”。每逢农历四月初八浴佛节及农历七月十四日的盂兰节，乡民于此打醮进行隆重的佛事活动。