Il massiccio palazzo fu costruito nella seconda metàdel secolo XVI per iniziativa del marchese Ranieri Del Monte, generale delle milizie del duca Guidobaldo II Della Rovere. L’edificio è appartenuto poi nel tempo alla famiglia Gozze, ai Baldassini e ai Castelbarco Albani.
La facciata posteriore dell’edificio si apre con una loggia su un vasto giardino formale organizzato in due successivi recinti. Nel primo si trova il giardino piùantico, che replica lo schema planimetrico cinquecentesco, disegnato attraverso quattro ampi compartimenti perimetrali da siepi di bosso. Due colonne con busto segnano l’asse centrale, e al centro della composizione si trova un bacino idrico. Il giardino èchiuso da un breve terrazzamento e da una muratura fondale a cui sono addossate le serre degli agrumi. Proseguendo lungo l’asse centrale si trova un secondo giardino, dal semplicissimo disegno a croce.