Secondo un’antica tradizione che risale a al 16° Secolo, un viandante, mentre camminava per il sentiero boschivo lungo il pendio della ‘Pentima Calvello’ vide improvvisamente il Tufo (che ha 8 metri di circonferenza e il peso di 150 quintali) distaccarsi dalla rupe. e dirigersi minacciosamente e fragorosamente verso di lui; in quel frangente, atterrito, invovò la Madonna e, miracolosamente, il masso si arrestò ed il viandante fu salvo.

Egli allora procurò che quel blocco di rimanesse nei secoli a testimonianza del patrocinio valido di Maria e vi fabbricò, intorno, una edicola, facendovi dipingere (forse da Antonazzo), l’immagine di Maria che in braccio Gesù.

Nel 1592 essendo Vescovo Tuscolano il Cardinale Tolomeo Gallo, Comasco (1591-1600), la Cappella del Tufo fu unita alla Chiesa Parrocchiale di Rocca di Papa.  In quel tempo, però, intorno al tufo non v’era altro che una Chiesuola alla quale, poi venne aggiunto un ‘Romitorio’ come è tramandato dalla relazione del 1830 di Sac. Giov. Blasi, Vicario Foraneo e deputato del Romitorio del Tufo.

Dopo l’ampliamento fatto dal principe Doria, nel 1792, una piccola ed armonica facciata era stata fatta per interessamento di Giacomo Botti.  Nel 1854 il Santuario passò ai Padri Trinitari, che con zelo ne curano lo sviluppo e il decoro.

I lavori di ampliamento vennero inaugurati dalla benedizione del Card. Lega, Vescovo di Frascati e il santuario ampliato fu riaperta al culto nel 1931.