Il Monastero di San Bartolomeo e San Romualdo di Fabriano è di origine camaldolese. Le fonti storiche parlano infatti di un eremitaggio dei seguaci di San Romualdo esistente nel XIII secolo; l'eremitaggio venne poi trasformato in monastero per i monaci di Valdicastro. Verosimilmente è a questo periodo che risale la costruzione del complesso conventuale. Le strutture originarie sono attualmente individuabili nel chiostro e nel piano terreno dell'ala verso l'orto. Il monastero, talvolta menzionato come Ospizio, probabilmente oltre ad ospitare i monaci svolgeva anche funzione di accoglienza o assistenza. A partire dal 1253 l'Ospizio viene posto sotto la protezione della S. Sede, pur restando sotto la giurisdizione dei monaci di Valdicastro.
L`edificio venne acquistato nel 1406 dalla famiglia Chiavelli che lo donò alle monache benedettine. Con ogni probabilità durante la permanenza delle benedettine l'edificio subì modifiche e adattamenti che tuttavia oggi sono difficilmente individuabili, anche per la mancanza di una documentazione certa. A seguito della soppressione napoleonica le benedettine lasciarono il convento. Dal1835 al 2017  il convento ha ospitato le monache Clarisse Cappuccine.