Fra il 1260 e il 1280 Gentile I da Varano, signore di Camerino, fece edificare le due torri del castello. Solo alla metà del ‘400 Giulio Cesare da Varano trasformò la fortezza in residenza di campagna a cui legò un giardino a pianta rettangolare contornato da mura merlate la cui collocazione è rimasta invariata nel tempo. 
Questo giardino, a cui si accede tramite un vialetto bordato di fiori, ha un impianto all’italiana: 6 grandi aiuole bordate di bosso e traboccanti di fiori, con al centro una vasca ovale di pietra piena di ninfee e due romantici archi ricoperti da rose e clematidi.
In primavera fioriture spontanee di violette, primule, ciclamini, anemoni, iris punteggiano i prati e le scarpate intorno al castello. Nel giardino a una prima fioritura di tulipani, narcisi e giacinti segue una profusione di rose antiche nei toni del bianco e del rosa, che ricopre le antiche mura con festoni dai delicati colori. Strettamente intrecciate alle rose salgono sui muri anche le clematidi azzurre e viola scuro. Nelle aiuole con le rose troviamo anche cespugli da fiore, alti delphinium celesti e blu, peonie arboree ed erbacee. In estate e fino a novembre si susseguono le fioriture di ortensie, dalie e alti anemoni giapponesi dalle aeree corolle.
Tutta la collina su cui sorge il castello è diventata un giardino intensamente coltivato che ospita una collezione di rose antiche e moderne e di coloratissime dalie. Non c’è  angolo in cui i fiori non siano presenti a ingentilire le severe architetture medioevali con le loro esuberanti fioriture e vivaci colori. Rose rampicanti scalano le querce ricadendo in delicati festoni, rivestono i muri del castello e della canonica, incorniciano di una nuvola bianca il portale della chiesa di San Biagio.
Rose rampicanti nelle gradazioni del giallo rivestono i vecchi alberi da frutto lungo i terrazzamenti. In fondo, al confine con i campi coltivati, una collezione di rose da taglio divise per colore viene utilizzata dai fiorai della Rocca per realizzare grandi mazzi nei saloni della casa e addobbi di ogni tipo per gli eventi.

Rocca di Ajello