Tra il 1371 e il 1381 i Da Varano, signori di Camerino, costruiscono, nella pianura sottostante, il castello di Beldiletto, sontuosa e splendida residenza estiva della potente famiglia. In queste sale, riccamente affrescate, nel 1382 vengono ospitati Luigi I d’Angiò e Amedeo VI di Savoia. Nel 1419, il castello viene conquistato da Carlo Malatesta, signore di Rimini, in lotta con i Da Varano, il quale viene successivamente sconfitto dai signori di Camerino, con l’aiuto di Braccio da Montone. Nel 1510 vi soggiorna, con tutto il suo seguito, composto da sette cardinali e 200 uomini a cavallo, il papa Giulio II. Lo stesso castello di Pievebovigliana, oggi dominato dalla mole della chiesa di Santa Maria Assunta, di origine medievale, ma restaurata nel XVIII e nel XIX secolo e che racchiude la cripta romanica risalente ai secoli XI e XII, viene distrutto nel 1528 dalle truppe della duchessa Caterina Cibo, impegnata nelle lotte dinastiche per il controllo della signoria dei Da Varano. La sua struttura, originariamente circondata da un largo e profondo fossato, è quadrangolare, con torri in tutti gli angoli. Al suo interno si apre una corte con un loggiato, con pilastri ottagonali e con archi a sesto acuto in pietra bianca e rossa. Nella sala più grande del castello sono visibili i resti di un vasto ciclo di affreschi del XV secolo raffigurante dei cavalieri, tra cui Roberto il Guiscardo, suo figlio Ruggero, re di Napoli e Tancredi d’Altavilla, che rimanda alla cultura dei poemi cavallereschi.