L'eremo, arroccato su uno sperone Monte Corsegno, fu eretto sulle macerie di una antica torre che aveva la funzione di vigilare sul castello di Esanatoglia, oggetto delle mire espansionistiche dei comuni e delle signoria vicine. Il culto per San Cataldo, vescovo di Taranto,si diffuse a Esanatoglia intorno all'anno 1000 e e nel 1616 si decise di proclamarlo Patrono del paese.