Costruita su volere di Alessandro Sforza, la villa deve il suo nome al fatto chela prima pietra fu posta nel gennaio del 1452 dall’imperatore Federico III, di passaggio a Pesaro. La costruzione fu ultimata nel 1469, come ricorda l’iscrizione posta sul portale d’ingresso, affiancata dall’insegna dello scudo con le aquile imperiali. Situata sulle pendici meridionali del Colle San Bartolo, sul versante sinistro della valle del fiume Foglia, nonostante avesse i caratteri di "luogo di delizia" fuori della città, manteneva caratteri formali caratteristici dell'architettura difensiva, come coronamenti merlati (successivamente eliminati) e torrette.
Se sorprendente è la struttura architettonica del complesso, altrettanto eccezionale è lo straordinario sistema verde legato alla villa, articolato in tre ambienti: il bosco circostante la tenuta, il prato fiorito che segnalava l’ingresso e il giardino all’interno dell’Imperiale Nuova, costruzione affidata a Girolamo Genga e voluta da Eleonora Gonzaga, moglie di un Della Rovere (succeduti agli Sforza). Quest’ambiente ècostituito da un giardino terrazzato, il primo della regione a distendersi su piùlivelli, precisamente i due più alti dei tre in cui lo spazio della grande corte interna si articola. Fra le prime piante messe a dimora nei giardini primeggiavano gli agrumi. Dopo l’estinzione della casata dei Della Rovere, la villa passò attraverso diverse proprietàe i giardini decaddero. Nel Settecento la villa divenne della famiglia Albani, che avviò una vasta opera di restauro. I giardini attualmente presenti sono frutto delle libere ricostruzioni operate tra diciannovesimo e ventesimo secolo dai conti Albani. Il cortile inferiore presenta oggi alcune aiuole fiorite; il primo terrazzo ha spalliere di limoni e aiuole in bosso; il giardino superiore è invece suddiviso in sedici aiuole con siepi, all’interno delle quali sono stati creati ulteriori compartimenti il cui disegno è ricavato dalle volte e pavimentazioni della loggia del cortile inferiore.
Anche se non sono confrontabili con gli originali ambienti verdi, anche gli attuali giardini appaiono fortemente evocativi.