Dell'antico Eremo di San Benedetto rimangono una piccola grotta, qualche mozzicone di muro, alcuni archi, un ambiente a volta e una cisterna. La vegetazione ha ricoperto lo spazio dove un tempo sorgevano gli edifici del piccolo monastero con i suoi orti disposti intorno alla chiesetta ipogea. La grotta infatti, di dimensioni 5 x 4 m, alta 2,5 m, è ciò che resta della chiesa dell'insediamento eremitico primitivo. Ha sul fondo un rustico altare scavato nel masso calcareo; a sinistra dell'ingresso, da un foro nella roccia che funge da finestrella, penetra nell'ipogeo la luce del sottobosco.

L'eremo è citato in un documento del 1038 da cui risultano tra i suoi possedimenti vigne e selve per almeno 100 ettari, segno che doveva esistere già da tempo; l'originario insediamento monastico era infatti probabilmente sul tipo delle laure orientali, con celle eremitiche sparse nel monte, attorno a una chiesa dove dimorava l'abate. Forse a causa della presenza della caratteristica parete di calcare bianco che sovrasta l'eremo, il luogo è ricordato come Pietra dell'Abate.
Abitato nel Quattrocento da due donne, Nicolosa e sua figlia, il romitorio passò nel Cinquecento alla congregazione eremitica dei Camaldolesi di Monte Corona, ramo benedettino riformato dal Beato Paolo Giustiniani. Iniziarono in questo periodo i dissidi tra i Gonzaghiani del sovrastante Eremo di San Pietro e i Camaldolesi di San Benedetto, tanto che i primi, per cacciare i monaci dal sottostante eremo, giunsero a far precipitare dall'alto dei massi.