Fuori della cinta muraria, che divideva il centro abitato dalla campagna, davanti ad ogni porta d'accesso alla città, nel sec. XIV, erano state costruite piccole chiese dedicate alla Madonna, probabilmente in segno di riconoscenza alla Vergine da parte della popolazione scampata a gravi crisi di peste e  guerre. Tra queste chiese vi è quella dedicata alla Beata Vergine della Neve, sita nel pressi della porta principale della cittadina. Conferma della datazione dell'edificazione della chiesetta è l'affresco presente al suo interno, sopra l'altare, attribuito a Pietro da Montepulciano, noto anche come Pietro da Recanati, pittore attivo nelle Marche agli inizi del sec. XV. Probabilmente l'asssetto originale era quello di piccole dimensioni, quasi semplicemente una piccola cappella o edicola. Nel tempo, però, anche grazie alle elargizioni dei devoti venne ampliata. La chiesa nelle sue forme attuali, molto probabilmente, è stata realizzata nel sec. XVII, forse nel 1663 come ricorda un'incisione su cotto ancora oggi visibile. Nel sec. XVIII viene aggiunta la loggetta all'ingresso della chiesa, forse per offrire riparo ai viandanti che fossero rimasti fuori dopo la chiusura serale delle porte.