Il complesso conventuale, attribuito senza fondamenti a Jacopo Sansovino, venne eretto a metà del XVI secolo. La Chiesa è dedicata al Patrono della città San Pateriano, che secondo un’antica tradizione nacque a Fano verso il 275, dapprima eremita presso il Fiume Metauro e quindi abate di un monastero e successivamente eletto vescovo della città, dove morì il 13 novembre 360.
La Chiesa fu consacrata nel 1558, l'esterno, mai ultimato con il rivestimento in pietra, è arricchito dal Portale di derivazione michelangiolesca dello scalpellino veneziano Jacopo Bambagiani. Nell'interno a tre navate si possono ammirare dipinti di Alessandro Tiarini, Giambattista Ragazzini, Claudio Ridolfi, un'opera attribuita al Cavalier d'Arpino e un Crocifisso ligneo del napoletano Giacomo Colombo. La Cappella sulla destra del presbiterio, dove si custodiscono le ossa del Santo e l'antico sarcofago tardo-romano in cui sono state racchiuse per secoli, è affrescata da Antonio Viviani, detto il Sordo; nella cupoletta dell'anticappella un ulteriore affresco di Sebastiano Ceccarini. Giovanni Battista Ragazzini eseguì nel 1556 l'affresco della cupola e del catino absidale. E' anche presente un organo Callido, restaurato nel 2005. Addossato al lato sinistro della Chiesa c'è un Chiostro con ventiquattro colonne corinzie eseguite dal milanese Giovanni Bosso. Il puteale al centro è opera del veneziano Jacopo Bambagiani.Il campanile è stato abbattuto nel 1944 dai Tedeschi in ritirata e rifatto nel 1952 su identico disegno.