Palazzo è uno dei castelli più caratteristici del territorio arceviese. Sorge a m. 508 nell'alta valle del torrente Fenella, ubicato sulle pendici del Monte Caudino. Nel 1130 fu donato all'eremo di Fonte Avellana. Nel medioevo era proprietà degli arcivescovi di Ravenna e poi conteso tra i vescovi di Fossombrone e Senigallia. Passato sul finire del Xlll sec. sotto il dominio di Arcevia a seguito della vittoriosa guerra condotta contro la città di Fossombrone, ne seguì le vicende storiche. Conserva quasi intatta la struttura urbanistica medioevale: è dotato di possenti tratti di mura in pietra e cotto e di una bella porta d’accesso quattrocentesca. Da ammirare sono la chiesa parrocchiale dei Santi Settimio e Stefano (1ª metà sec. XVIII), imponente costruzione tardobarocca - probabilmente opera di un esponente della famiglia di architetti Vici originari di Palazzo – con splendidi altari marmorei e bella tela settecentesca di scuola veneta, e l’Oratorio Privato di S. Venanzio (1751-’59), eretto su progetto di Arcangelo Vici, con notevole interno affrescato.