L’abitato di Polverigi è disteso su un basso sperone collinare, che domina una piccola valle compresa tra due brevi rami fluviali. Dai belvedere la vista abbraccia l’azzurra distesa del mare, il massiccio promontorio del Conero, l’ampia valle alluvionale del fiume Esino, e i rilievi appenninici.
Sono incerte le origini del toponimo, che secondo i più deriverebbe dal latino Pulvis, Pulveris , "polvere", a causa del terreno sabbioso e polveroso; era poco abitato, pieno di sterpaglie e fitte boscaglie, meta privilegiata di eremiti.
Tra le testimonianze architettoniche del suo passato, spicca la Chiesa del Sacramento, costruzione duecentesca d’impianto romanico-gotico, riedificata in età barocca. Un tempo la chiesa era una cosa sola col parco comunale e Villa Nappi, antica residenza, oggi sede di Inteatro; cacciati gli agostiniani nel periodo di governo di Napoleone, nel 1815 il tutto fu acquistato dai conti Nappi e successivamente, nel 1972, fu venduto al Comune. 
Opera di Gabuzzi è la chiesa parrocchiale di Sant'Antonio, che custodisce un insigne dipinto di Ercole Ramazzani del 1583 (la Deposizione della Croce). Il centro storico si sviluppa circolarmente attorno alle mura del piccolo castello medievale, cui si accede attraverso un’antica porta con arco a tutto sesto.
Tra gli eventi più importanti che hanno luogo a Polverigi nel corso dell'anno ricordiamo:  la rassegna della Passione lungo le vie del paese (settimana antecedente la Pasqua); Inteatro Festival, festival internazionale di teatro contemporaneo con spettacoli, performance, conferenze e seminari riguardanti il tema del teatro (luglio); la Notte delle Streghe, durante la quale l'intero centro storico si trasforma in un castello incantato, cantine e giardini diventano per magia antri paurosi, laboratori occulti e cimiteri misteriosi (settembre).