La Pinacoteca ha sede nel Palazzo dei Priori che risale al 1296, già residenza comunale. L'edificio, restaurato nella prima metà del XV secolo ed ultimato nel 1525, presenta al centro una doppia scala che sale ad un portichetto d'ingresso su cui è collocata la statua in bronzo di Sisto V, opera cinquecentesca del toscano Accursio Baldi. Istituita nel 1890 in alcune sale della Biblioteca Civica, la Pinacoteca venne allestita, nella sede attuale, nel 1981. Ospita, tra l'altro, un'importante raccolta di dipinti di scuola marchigiana e veneta, assieme a manufatti in pietra, costumi, stemmi, porcellane, arredi ed oggetti di pregio. Tra le opere più significative quelle di Andrea da Bologna, Francescuccio di Cecco Ghissi, Jacobello del Fiore (Storie di Santa Lucia), Vittore Crivelli (Crocifissione), Vincenzo Pagani, Giuliano Presutti e Giovanni Lanfranco (Pentecoste).
Di particolare interesse un arazzo fiammingo realizzato su disegno di Giusto de Gand e il dipinto di Peter Paul Rubens raffigurante L'Adorazione dei Pastori, commissionato al pittore nel 1608 dai Padri Filippini per la loro chiesa. È compresa, nel percorso di visita della pinacoteca, la preziosa "Sala del Mappamondo" commissionata dal Cardinale fermano Decio Azzolino j. e realizzata nel 1688 dall'architetto Adamo Sacripante, che conserva il nucleo più antico della biblioteca. La Sala, completamente arredata con scaffalature in legno di noce, ospita parte del fondo antico della Biblioteca Comunale donato principalmente dal fermano Romolo Spezioli, medico personale della regina Cristina di Svezia. Domina l'ambiente l'imponente mappamondo, realizzato dal geografo Silvestro Amanzio Maroncelli nel 1713.
La sezione museale picena situata al piano terra di Palazzo dei Priori si fonda su un primo essenziale saggio della ricchissima documentazione recuperata dalla Soprintendenza Archeologica delle Marche in quasi un secolo di sistematiche indagini nel territorio e, per il resto, sui materiali della collezione comunale, riordinati e provvisoriamente scorporati dall'Antiquarium chiuso per restauri. Nella prima sala si offre una rapida sintesi dell'archeologia di Fermo pre-romana, aggiornata fino alle ultime scoperte e basata sui risultati degli scavi sistematici condotti sin dall'inizio del '900 nel territorio comunale. Le urne cinerarie e il corredo di due tombe dell' VIII sec. a. C., una maschile e l'altra femminile, esemplificano la natura del territorio come isola culturale villanoviana nella prima età del ferro. Il corredo di una tomba ad inumazione della fine del VI sec. a. C. e lo skyphos a vernice nera di un'altra sepoltura del IV/III sec. a. C. documentano la prosecuzione ininterrotta dell'insediamento, ormai completamente riassorbito nel contesto indigeno della civiltà picena. Dai recenti scavi sul Girfalco pochi frammenti di ceramica dell'età del bronzo e i vasi attici a figure rosse confermano, sulla sommità del colle dove poi sorse la città romana, medievale moderna, una frequentazione molto antica e di lunga durata. Nella seconda e terza sala è esposta la collezione archeologica comunale che si riferisce allo stesso periodo cronologico. Sono visibili reperti della civiltà picena che, ormai svincolati dai contesti di provenienza, si presentano tuttavia didatticamente divisi per classi funzionali, offrendo un panorama completo degli usi e costumi dei piceni (nell'ordine: fibule, oggetti d'ornamento ed enigmatici, armi, utensili e vasellame).