La Pinacoteca trae origine dall'esigenza di salvaguardare le opere raccolte dal Comune che, dopo la soppressione di molti enti religiosi a seguito del decreto del 7 luglio 1866, passarono alle amministrazioni comunali per essere poi destinate al pubblico godimento. La raccolta venne collocata in alcuni ambienti della Residenza Comunale dove rimase fino al 1974, anno dell'inaugurazione della nuova sede, il Palazzo Tacchi Venturi, costruzione del XV secolo che incorpora una antica torre di vedetta. Dedicata a Padre Tacchi Venturi, noto studioso sanseverinate di storia delle religioni i cui eredi donarono alla città gran parte del Palazzo dove attualmente è allestita, la Pinacoteca comprende, tra l'altro, i polittici di Vittore Crivelli (1440 - 1502), Niccolò Alunno (c. 1430 - 1502) e Paolo Veneziano, l'altarolo di Lorenzo Salimbeni (not. 1374) alcuni dipinti di Lorenzo d'Alessandro (not. 1462 - m. 1503) ed opere concesse dalla Curia Vescovile che ne conserva la proprietà. Tra queste un Cristo deposto del XIII secolo, la Madonna della Pace del Pinturicchio (c. 1454 - 1513) e la Madonna del Soccorso di Bernardino di Mariotto. Di grande interesse sono gli affreschi provenienti da chiese urbane ed extraurbane, alcuni del XIV secolo, che assieme alle opere dei fratelli Salimbeni di San Severino, Lorenzo e Jacopo, costituiscono una vera antologia della pittura sanseverinate tardogotica.