公元332年下半年，神功皇后为了讨伐新罗而出兵朝鲜半岛，去程与回程都路经此地。神功皇后曾在这里盖临时宫殿，但是到他离开之后宫殿就被弃置。后来因为接连发生海面上有发光物跑出来的事情，因此村里的人将宫殿的镜子收起来，并开始祭拜神功皇后。当时盖的临时宫殿就是圣母宫。
还有一说是神功皇后带回敌人的首级101,500个，在海边挖了一个大洞埋了，然后在上面建宝殿，盖了圣母宫。