È sede dell'omonima confraternita, nata agli inizi del XVI secolo ad opera del padre francescano Gerolamo Recalchi da Verona. I primi confratelli si riunivano all'interno di alcuni ambienti del vicino Oratorio di San Giovanni Battista; poi verso il 1503 si sentì l'esigenza da parte della Confraternita di dotarsi di una propria sede. Molto legata a questa confraternita fu la nobile famiglia degli Albani, in particolare Papa Clemente XI e il cardinale Annibale Albani, che contribuirono a renderla tra le più ricche di Urbino.
La chiesa vera e propria è ad aula unica, in forma rettangolare; è stata riccamente affrescata sulle pareti, sulla volta e nel catino absidale, dal pittore urbinate Carlo Roncalli, autore delle quattro grandi tele, sulle pareti laterali, raffiguranti i principali fatti della vita di San Giuseppe (lo Sposalizio con Maria Vergine, la Nascita di Gesù Cristo, la fuga in Egitto e il Transito (Morte) di San Giuseppe). Sopra l'altare domina una grande edicola marmorea, donata da Papa Clemente XI nel 1732, con due colonne in porfido rosso, provenienti dal Pantheon, e al centro è collocata una statua in marmo bianco raffigurante San Giuseppe, opera del comasco Giuseppe Lironi, proveniente dalla basilica di San Giovanni in Laterano. All'interno dell'oratorio, è attualmente conservata una pregevole opera plastica dello scultore urbinate Federico Brandani, raffigurante la natività di Gesù Cristo, realizzata tra il 1545 e il 1550, in tufo e pietra pomice; la particolarità dell'opera deriva dal fatto che l'intera cappella, in cui è conservata, è interamente rivestita di tufo per ricreare il più possibile l'ambiente di una grotta. Nella sagrestia si può ammirare, oltre ai ritratti settecenteschi di illustri confratelli, anche un armadio in legno arricchito da vedute di paesaggio del pittore Alessio De Marchis.