Il castello di Castelletta dista 21 km da Fabriano e si trova a 606 mt. s.l.m.

Dominato dal monte Rovellone, conserva ancora l’antico impianto medievale. Sulle caratteristiche e suggestive rue si affacciano case a schiera composte per lo più da due semplici ambienti: l’ingresso e il camino al piano terra e con punto luce al primo piano. Sono visibili anche le strutture fortificate e difensive, come la torre di avvistamento a pianta circolare detta Rivellino con i suoi beccatelli difensivi e l'attiguo palazzo dei conti Rovellone. La porta-torre di sud-est a pianta quadrata con arco a tutto sesto e feritoie è altresì ben conservata.

Malgrado il primo documento scritto risalga al 1292, le sue origini sono molto probabilmente romane, come lasciano pensare il nome della chiesa parrocchiale "Santa Maria sopra Minerva", che rimandano al culto pagano della dea romana della guerra e della saggezza, ed anche un frammento di trabeazione sepolcrale ritrovato nei pressi, databile tra la fine della Repubblica e la prima età augustea ed oggi conservato presso la villa Censi-Mancia di Albacina.

Nella chiesa parrocchiale, si conservano una croce astile del sec. XIII e un frammento di affresco raffigurante S. Silvestro eseguito da Antonio da Fabriano. Infatti, vicino a Castelletta, a Grottafucile, si ritirò dal 1227 al 1231 a vita eremitica San Silvestro Guzzolini, fondatore osimano dell'ordine benedettino silvestrino, seguito poi da molti giovani della zona.

Nel tardo Medioevo fu un lembo estremo del Ducato di Spoleto e poi territorio del Ducato di Camerino.

Il castello appartenne ai Signori di Rovellone per poi essere ceduto al Comune di Fabriano nel 1305. Il castello diventò pertanto importante nel corso degli anni sia come centro strategico sia come avamposto del territorio comunale.

Alle porte del paese, nella chiesa di Santa Maria del Piano, si trovano affreschi di scuola fabrianese risalenti al XV secolo.

La zona rientra nel territorio del bellissimo Parco Naturale della Gola della Rossa e di Frasassi ed è molto apprezzata dagli escursionisti. E' anche adatta per le arrampicat data la presenza di un impianto di una palestra di roccia sugli erti dirupi di monte Rovellone.    

Nella seconda metà di settembre si festeggia ogni anno la Madonna della Speranza. In programma sagra, giochi, processione e tradizioni folkloristiche.