Batu kapur pembentuk Batu Caves dikatakan berumur sekitar 400 juta tahun. Beberapa pintu masuk gua digunakan sebagai tempat penampungan bagi masyarakat adat Temuan (sebuah suku Orang Asli).
Pada awal 1860, pemukim Tiongkok mulai menggali guano untuk pupuk sayuran mereka. Namun, mereka menjadi terkenal hanya setelah bukit-bukit kapur dicatat oleh pemerintah kolonial termasuk Daly dan Syers serta naturalis Amerika, William Hornaday pada tahun 1878.
Batu Caves dipromosikan sebagai tempat ibadah yang didirikan oleh K. Thamboosamy Pillai, seorang pedagang India. Ia terinspirasi oleh pintu masuk gua utama berbentuk "Vel" dan terinspirasi untuk mendedikasikan sebuah kuil untuk Dewa Murugan di gua tersebut.
Pada tahun 1890, Pillai, yang juga mendirikan Kuil Sri Mahamariamman, membangun murti (patung yang dikuduskan) dari Sri Subramania Swamy yang sekarang dikenal sebagai Gua Kuil (Temple Caves). Sejak 1892, festival Thaipusam di bulan Tamil, Thai (yang jatuh pada akhir Januari/awal Februari) telah dirayakan di sana.
Tangga kayu sampai ke Gua Kuil dibangun pada tahun 1920 dan telah digantikan oleh 272 anak tangga beton. Dari berbagai gua kuil yang berada di situs tersebut, gua yang terbesar dan paling terkenal adalah Temple Caves, dinamakan demikian karena menaungi beberapa kuil Hindu di bawah langit-langit berkubah.