Unida a tierra por un puente de piedra de dos ojos, convirtiendo así el peñón en península se encuentra una ermita dedicada al martirio o degollación de San Juan Bautista: San Juan de Gaztelugatxe.
Se trata de un lugar de peregrinación y el santuario más importante de Euskadi cuyo nombre se conoce ya desde los siglos XI y XII los señores de Bizkaia donan al famoso monasterio pirenaico de San Juan de la Peña el templo de San Juan de Gaztelugatxe. Este nombre, San Juan de la Peña, que ha perdurado a través de los siglos, puede llevar a pensar que se trataba de un retoño del famoso monasterio pirenaico, nacido en lo más abrupto de la costa vizcaína, sobre una fortaleza o castillo previo.
La ermita ha sido, a lo largo de los siglos, un lugar de peregrinación de los habitantes de una gran parte de Bizkaia, especialmente de los marineros de los pueblos vecinos.
Según cuenta la leyenda, San Juan Bautista desembarcó en el puerto de Bermeo y llegó al lugar en solo tres pasos: el primero se encuentra en la única puerta en pie de la muralla de Bermeo, San Juan Portal, y el último en una de las 241 escalones que suben a la ermita. Además, todavía quedan restos de un vía crucis que va desde abajo hasta la ermita con fecha del año 1891.
