Este santuario también se conoce como Santuario de Kumano, ya que era un lugar de peregrinación para quienes se dirigían a Kumano, en Kishu, por la carretera Amano Kaido. Antiguamente, existía la teoría de que el sintoísmo y el budismo eran lo mismo, y hubo una época en que dioses y bodhisattvas se veneraban en el mismo lugar. El Santuario Santo tiene una historia misteriosa debido a esta creencia. Según la leyenda, fue fundado en el siglo VII y fue incendiado durante una guerra, pero fue reconstruido dentro del templo Konzo-ji en el siglo XVI por un monje llamado Taikan. Posteriormente, durante la separación del sintoísmo y el budismo en el período Meiji, este santuario permaneció en pie, mientras que el templo Konzo-ji desapareció.