La villa rappresenta uno straordinario esempio di residenza rinascimentale in stile manierista, perfettamente immersa nel paesaggio del Parco naturale di Colle S. Bartolo nei pressi della città di Pesaro. La struttura fu realizzata in due diverse fasi costruttive, una del XV ad opera di Alessandro Sforza e l’altra del XVI su iniziativa della famiglia della Rovere. Fu proprio durante la prima fase che la villa acquisì l’attuale denominazione durante la quale l’imperatore Federico III, in occasione della sua visita a Pesaro nel mese di gennaio del 1452 su invito di Alessandro Sforza, pose la prima pietra della costruzione.
La parte più antica si caratterizzata per un impianto difensivo tipicamente quattrocentesco, visibile nell’alta torre (gli antichi coronamenti merlati sono stati eliminati) e per un cortile con una vera da pozzo decorata da tre scudi sforzeschi. Prima delle modifiche cinquecentesche al piano terra era originariamente un portico e una loggia aperti verso la valle.
L’impianto cinquecentesco fu realizzato a partire dal 1523 dall’architetto urbinate Gerolamo Genga per i duchi di Urbino Francesco Maria Della Rovere e Leonora Gonzaga che volevano trasformare la residenza in luogo ideale di vita cortese, adatto ad assolvere le funzioni tipiche delle corti rinascimentali. In questa occasione fu sopraelevata la torre di guardia e tamponata una parte delle logge del cortile sforzesco. Venne poi realizzata l'aggiunta di un corpo quadrangolare con logge ai quattro angoli, adagiato sul colle grazie a un sistema di terrazzamenti e con una predominanza di spazi aperti: logge, giardini e cortili, luoghi ideali per gli otia dei duchi e dei loro ospiti.
L’architetto Genga si occupò anche delle decorazioni interne alle quali misero mano prestigiose personalità artistiche dell’epoca come Dosso e Battista Dossi, Raffaellino del Colle, il Bronzino, Camillo Mantovano ed altri. I lavori furono terminati nel 1541 da Eleonora Gonzaga che incaricò Pietro Bembo delle iscrizioni del fregio collocato sul prospetto esterno e nel cortile d’onore.