Il convento di San Giacomo della Romita era un Priorato Monastico Camaldolese anteriore al secolo XIII , denominato "Romitella delle Mandriole". I Francescani subentrarono ai Camaldolesi nel 1452 e rifabbricarono la Chiesa agli inizi del Cinquecento, decorandola con una pala d'altare in terracotta invetriata di Bottega Robbiana attribuita anche a Pier Paolo Agabiti. La chiesa si trova all’interno del convento dei Frati Minori, del secolo XII, intitolato al Beato Giovanni Righi che è qui sepolto. Il complesso del convento si sviluppa su due piani fuori terra, ha struttura in muratura e prospetti in laterizio. L'attuale chiesa, ricostruita dal 1782 al 1793, è dovuta al disegno di D. Apollonio Tucchi (1730-1802), monaco camaldolese dell'Eremo delle Grotte. Vi si conserva il corpo del B. Giovanni Righi da Fabriano.