L'Eremo di San Silvestro in Montefano di Fabriano venne fondato da San Silvestro Guzzolini nel 1231 in prossimità della sorgente fonte Vembrici, come sede del nuovo ordine monastico da lui costituito, in seguito denominato Congregazione Silvestrina. Nello stesso anno fu edificato dai Silvestrini il Monastero di San Benedetto entro le mura di Fabriano, dove nel 1390 trovarono rifugio, per motivi di sicurezza, gli stessi monaci di Monte Fano. 
Ormai privo di manutenzione, il cenobio di Monte Fano viene restaurato intorno alla metà del 1400. Molti interventi di miglioria e ampliamento sono poi effettuati tra il XVII e XVIII secolo, periodo al quale è riconducibile l’aspetto attuale, ad eccezione dell’edificio situato al di sopra del monastero risalente agli anni Cinquanta del secolo scorso. Dopo le soppressioni del 1810 e del 1866, l’eremo torna ad essere il centro spirituale della Congregazione Silvestrina.
Nel coro della chiesa sono da segnalare: una tela di Claudio Ridolfi (1644), allievo del Tiepolo, raffigurante La Madonna che porge l'Eucarestia a S.Silvestro e quattro statue lignee dorate del secolo XVII. Le reliquie di S.Silvestro sono conservate in un'urna moderna.
La Chiesa Inferiore, edificata nel XIII secolo, è dedicata a S.Benedetto. Le 24 lunette che ornano le pareti dei chiostri del monastero sono opera di Antonio Ungarini di Fabriano (1771) e rappresentano episodi della vita di San Silvestro abate, ricavati dalla Vita Silvestri, scritta dal monaco Andrea di Giacomo da Fabriano tra il 1274 e il 1282.

Monte Fano attualmente ospita una comunità monastica molto attiva culturalmente e spiritualmente; oltre agli studi e alle ricerche curate dai monaci, l'eremo si caratterizza per la presenza di un efficiente laboratorio di restauro del libro antico, una biblioteca storica che vanta 70.000 volumi, l’archivio storico della Congregazione Silvestrina e una foresteria.

In un’ala dell’ex-collegio sono state ricavate 30 camere, debitamente attrezzate e con vista panoramica. La comunità monastica silvestrina accoglie tutto l'anno piccoli gruppi, in un reparto autogestito, per giornate di ritiro guidate da un monaco, con la partecipazione alla preghiera della comunità.