La città di Fossombrone ebbe "per beneficio pubblico della Gioventù studiosa" la sua biblioteca grazie alla magnanimità e generosità di Monsignor Benedetto Passionei (19 aprile 1784).
Nato a Fossombrone nel 1719, fu avviato agli studi sacerdotali e si laureò in legge a Padova; ebbe incarichi vari a Roma e fu spesso a contatto con letterati ed eruditi che frequentavano la "corte" dello zio Cardinale Domenico Passionei.
Non conosciamo quanti e quali libri, a stampa e manoscritti, furono donati da Benedetto Passionei, e ciò a causa della scomparsa del primitivo catalogo e per i guasti subiti dalla biblioteca nel periodo repubblicano degli ultimi anni del secolo XVIII. Il materiale bibliografico comprendeva libri di ogni genere letterario: letteratura latina, greca, italiana e francese, archeologia, storia, geografia, teologia e dommatica, morale e biblica, patrologia, diritto canonico e civile, scienze. Completava la donazione un ricco fondo di libri manoscritti appartenenti allo zio Domenico Passionei, di grande interesse per la storia religiosa e civile dell’Italia e dell’Europa dei secoli XVII e XVIII. Tra questi anche lettere e scritti autografi di eminenti personaggi del tempo. Mons. Passionei, vissuto a Roma vicino allo zio, aveva con questi condiviso la passione per l’erudizione e per la conservazione dei libri e manoscritti rari. Dopo la sua morte condusse una lunga trattativa per la vendita della Biblioteca e per la cessione di alcuni manoscritti alla Biblioteca Vaticana, riuscendo tuttavia a conservare per sé i volumi segnati con l’iniziale "P" (Passionei) che erano la maggior parte e più pregiati, oltre a diversi documenti manoscritti: corrispondenza, memorie e minute con documenti diplomatici o abbozzi di opere erudite. Perciò quando nel 1776 i libri, fatti mettere da Mons. Passionei in "ventiquattro gran cassoni", giunsero da Roma a Fossombrone, si vide che erano circa 6.000 volumi, di cui tante opere eleganti e preziose, rilegate alla francese e all’olandese. Giustamente si parlò di un dono da principe, quello fatto dal Passionei, e non da "particolare cavaliere o semplice prelato".
Dal 1895 la biblioteca ha sede nell’ex convento dei padri Francescani. Nel 1944, a causa dei bombardamenti che colpirono il palazzo e causarono la perdita di parte del patrimonio bibliografico, la sezione antica venne trasferita in Corte Alta, mentre la sezione moderna rimase nell’edificio. L’intero patrimonio bibliografico venne poi nuovamente riunito nel 1977, quando alla biblioteca furono assegnate altre sale. L'attuale sede si estende per circa 550 mq. La sala di consultazione/studio più la saletta manoscritti comprendono in totale 35 posti.