La sede del Museo è Villa Colloredo-Mels, antica residenza del ramo marchigiano dell'omonimo casato friulano. Di impianto medievale, l'edificio assunse la fisionomia di Palazzo verso la fine del '500, diventando oggetto di continue trasformazioni nei secoli seguenti fino ad ottenere l'aspetto attuale in età neoclassica. L'inaugurazione è avvenuta nell'estate 1998 dopo il trasferimento della Pinacoteca dal Palazzo Comunale. E' articolato in cinque sezioni: la sezione archeologica, che permette di conoscere l'organizzazione di una comunità neolitica con varie sovrapposizioni fino all'età del ferro; la sezione medievale che documenta la vita della città nel periodo di massimo splendore e comprende, tra l'altro, opere di Ludovico da Siena (not. 1395), Pietro di Domenico da Montepulciano (att. sec. XV) e Vincenzo Pagani (1490-1568); la sezione rinascimentale che raggruppa quattro tra le più significative opere di Lorenzo Lotto (1480 - 1556): l'Annunciazione, il Polittico di San Domenico, la Trasfigurazione, il San Giacomo Maggiore, la sezione dedicata al Seicento e Settecento; la sezione ottocentesca che illustra il contesto storico-economico e sociale in cui è maturata l'esperienza di Giacomo Leopardi.

Il Museo comprende inoltre la Galleria d'Arte moderna e contemporanea, con sale dedicate ad artisti recanatesi o legati culturalmente alla città. Tra questi Giacomo Braccialarghe, Biagio Biagetti, Lorenzo Gigli, Rodolfo Ceccaroni e numerosi altri. Oltre al corpo delle opere di Lorenzo Lotto sono in deposito quelle provenienti dal Museo Diocesano di Recanati, attualmente chiuso per lavori di restauro. Tra queste, dipinti di Mantegna, Guercino, il Sassoferrato, Perin del Vaga, il Polittico di Guglielmo Veneziano, dipinti di Giacomo di Nicola da Recanati e il piviale di Gregorio XII.