Il Santuario fu costruito tra il 1561 e 1566 e nell'ottobre dello stesso anno il Crocifisso fu trasferito nel nuovo Santuario. La chiesa si presentava a pianta greca e la Cappella che accoglieva il Crocifisso era ornata di marmi preziosi. Nel corso degli anni la costruzione subì delle modifiche, fino a quando incominciò ad avere problemi strutturali, per cui l'unica soluzione era una sua nuova riedificazione. Venne, così, ricostruito in forme moderne nel 1969, prospettando sulla centrale piazza del Santuario.
Nell'interno, a pianta centrale in forma ellissoidale, vediamo ai lati dell'entrata, due tele di Domenico Simonetti: Mosè riceve le tavole della Legge e Mosè fa scaturire l'acqua; seguono due affreschi attribuiti ad Andrea Lilli (episodi della Via Crucis), ritrovati sotto le tele sul muro del precedente edificio seicentesco e a destra, una tela firmata dal Lilli con l'Assunta; ma è proprio dietro l'altar maggiore, ciò che più colpisce il visitatore per la sua storia: è, infatti qui, posto il Crocifisso ligneo policromo ritenuto lavoro eseguito da coloro che deposero dalla croce e diedero sepoltura al corpo di Cristo.
Secondo la tradizione, il Crocifisso, una volta terminato, venne custodito nell'abitazione di un ebreo ma, poco tempo dopo, l’opera venne scoperta e danneggiata. Successivamente Carlo Magno, Imperatore del Sacro Romano Impero, venuto a conoscenza di alcuni prodigi del Crocifisso e decise di donarlo a Papa Leone III, ma durante il suo trasporto, all'altezza del porto di Numana sopraggiunse una tempesta, che costrinse l'imperatore ad approdare e lasciare qui la reliquia. Nel 846 d.C. a Numana ci furono dei movimenti tellurici che distrussero gran parte delle abitazioni ed anche la Chiesa di S. Giovanni che custodiva il Crocifisso, che andò perso.
Solo nel 1294 alcuni pescatori Numanesi lo ritrovarono in mare e, lo portarono in una cappella in prossimità delle mura di cinta del paese, dove rimase sino al 1566.