Nei pressi dell'antico castello di Precicchie, nel territorio di S. Giovanni, sorge nell'interno di una grotta naturale sulla viva roccia il antuario di S. Maria delle Grotte. L'origine di questa forte devozionee mariana secondo la tradizione la si può rintracciare in una apparizione della Vergine a un pastorello del luogo. Da allora è luogo di pellegrinaggio per la popolazione proveniente dai paesi della Vallesina che ripercorrono, particolarmente nella terza domenica di maggio, i ripidi sentieri per recarsi in preghiera in questo luogo impervio. La prima notizia su questo luogo risale in una bolla papale compilata da Urbano IV nel 1372. 
Dell'antica struttura oggi si possono vedere soltanto i resti di un affresco risalente alla prima metà del XV sec. raffigurante la Vergine con il Bambino. Oggi accanto al dipinto è collocata un’immagine lignea della Madonna Ausiliatrice.
Maggio al Santuario è una festa che si ripete ogni Domenica con pellegrinaggi a piedi provenienti da Cupramontana, Apiro, Cerreto d’Esi, Fabriano, Castellaro, Castelletta e da tutti i paesi limitrofi. Momenti di particolare commozione si vivono nel pomeriggio dell’ultima Domenica, in cui si celebra la giornata del malato promossa dall’Unitalsi. La messa più partecipata rimane comunque quella della terza Domenica che vede un massiccio afflusso di fedeli.