Da archivi storici risulta che nel 1607 fu costruita una prima piccola Cappella, dedicata alla Santa Vergine, proprio dove ora sorge il Santuario. Il titolo in origine era Olivete, fu poi trasformato in Olivette, in riferimento al frutto delle piante di ulivo, appunto le olive. Nel corso del XVIII secolo, il Santuario fu sottoposto a vari lavori di ampliamento, riguardanti in modo particolare la navata centrale.Tali operazioni sono menzionate su una targa in marmo posta sopra l’ingresso principale. Sono molti gli ex voto conservati nel Santuario, devoluti per lo più da marinai o individui legati all’attività marinara.
L'ingresso all'itinerario è libero e gratuito: nei giorni festivi prima e dopo le funzioni, la domenica dalle ore 15 alle 17, oppure su appuntamento al numero 3427666821.
L'allestimento e la mostra sono a cura dell'Associazione Amici di Arenzano.