L'edificio che oggi ospita la Mediateca Montanari è stato progettato dall'architetto Giuseppe Balducci, il quale riusò i materiali provenienti dalla demolizione del convento di San Filippo che si trovava in quell'area. La sua realizzazione, in stile "eclettico" tipico dell'epoca, durò dal 1899 fino al 1903. L'edificio dagli inizi del Novecento fino al 1998 ha ospitato la scuola elementare intitolata a Luigi Rossi; quando la scuola è stata chiusa, gli spazi hanno ospitato mostre d'arte, dall'Accolta dei quindici alla mostra su Giacomo Torelli.

La Mediateca Montanari è stata inaugurata il 10 luglio 2010 in seguito ad importanti lavori di ristrutturazione; il restauro è stato difatti pensato per privilegiare la conservazione e la valorizzazione delle testimonianze storiche passate. Il progetto ha quindi garantito la conservazione del precedente edificio scolastico, la valorizzazione del sito archeologico e la realizzazione di una nuova biblioteca. La scuola è stata ristrutturata senza subire modifiche nella distribuzione degli ambienti o nelle superfici architettoniche, mantenendo la struttura originaria organizzata in ampie aule e corridoi che ospitano oggi le collezioni della biblioteca. La sala realizzata sotto l'atrio è usata per le conferenze e come punto di documentazione archeologica per le scolaresche ed i turisti che partecipano al percorso di Fano Romana. Nella sala ipogea, inoltre, sono visibili le colonne appartenenti al peristilio, libere dal terreno circostante e dalla galleria in cui erano racchiuse. Le fondazioni, invece, sono mantenute a vista tramite una vetrata calpestabile che permette di cogliere l'estensione del tempio e i diversi modi di costruire.

La Mediateca Montanari Memo si propone come una biblioteca multimediale di informazione generale e partecipa in forma complementare con la Biblioteca Federiciana al Servizio Bibliotecario della Città di Fano. La sede offre 1600 mq complessivi aperti al pubblico di cui 200 mq dedicati a bambini e ragazzi.