La tradizione popolare vuole che il Convento di Santa Vittoria sia stato fondato nel 1216 da San Francesco d'Assisi che, in uno dei suoi viaggi solitari che lo portarono ad attraversare anche le Marche, s'imbatté in una creatura mostruosa dalle fattezze di un grosso serpente che riuscì ad uccidere con “prodigiosa vittoria”. A memoria di questo evento il complesso venne dedicato a Santa Vittoria anche se, con più probabilità, era già presente un insediamento di monaci Benedettini. Dalla fine dell'Ottocento, l'intero complesso conventuale di Santa Vittoria subì numerosi danni soprattutto all'interno della chiesa, come il parziale crollo del tetto avvenuto durante la Seconda Guerra Mondiale.
All’interno è conservata la Deposizione di Giambattista Ragazzini, un olio su tavola che gli venne commissionato nel periodo in cui operò a Fano, attorno alla metà del XVI secolo.
Questa tavola ha avuto una storia particolarmente travagliata: per lungo tempo in stato di abbandono, è stata scomposta durante l’ultima guerra mondiale ed infine recuperata grazie ad un restauro ultimato nel 2003.
Fu il fascino di questo luogo ed il suo stretto legame con il paese di Fratte Rosa ad attirare l'interesse di artisti ed intellettuali, come Mauro Tamburini e Franco Bucci, che nei primi anni Ottanta del '900 iniziarono a raccogliere documenti, immagini e racconti per tramandare la memoria storica e materiale di questa terra, attraverso un progetto che pose le basi per la creazione del Museo Demo-antropologico delle Terrecotte di Fratte Rosa. 
Inaugurato nel 2002, secondo un allestimento pensato dallo stesso Franco Bucci, il museo è stato concepito come un centro di formazione e documentazione dell'artigianato locale e della tradizione popolare, oggi in via di ridefinizione, nella prospettiva di adeguarlo ad una migliore fruizione come polo di eccellenza del turismo culturale territoriale.
Oggi, l'ex chiesa così recuperata è diventata sede dell'Associazione LIS – Laboratorio Idee per la Sostenibilità, ente che promuove le iniziative di supporto all'attività ricettiva e culturale del Convento di Santa Vittoria.