La chiesa si trova nella piazza principale della città e ne costituisce l'unico edificio religioso. E' dedicata a S. Silvestro ma è nota anche come Madonna di Piazza per il dipinto che ne abbellisce l'altare. La chiesa è una delle più antiche del centro storico, risalendo al XII secolo. La facciata in cotto è stata decorata con paramenti in arenaria che possono individuarsi in due registri differenti. La parte bassa fu eseguita nel 1565, come ricorda l'iscrizione sotto la finestra a sinistra del portale, da maestro Filippo, intagliatore, e da maestro Fabrizio, scalpellino. Il primo di questi due personaggi può essere riconosciuto, grazie ai dati di archivio, nel noto architetto Filippo Terzi. La parte alta, invece, è stata realizzata nel 1606 in occasione di una sopraelevazione della chiesa; sopraelevazione non più esistente a causa delle distruzioni belliche operate dai Tedeschi nell'agosto del 1944, quando fu minato il piccolo campanile che rovinò sulla chiesa. A causa di ciò l'interno fu completamente ristrutturato. Sull'altare maggiore è collocato il dipinto della Madonna di Piazza (1606) attribuito a Giovanni Baglioni.
Le pareti laterali sono state dipinte a tempera dal pittore urbaniese contemporaneo Augusto Ranocchi e rappresentano una Via Crucis.
Di origine romana è il bel capitello ionico utilizzato per sostenere la mensa del nuovo altare.  La facciata è stata sottoposta a restauro verso il 1992.