Ce sanctuaire est également connu sous le nom de sanctuaire de Kumano, car il servait de lieu de pèlerinage pour ceux qui se rendaient à Kumano, dans la préfecture de Kishu, par la route d'Amano Kaido. Autrefois, une théorie affirmait que le shintoïsme et le bouddhisme ne faisaient qu'un, et qu'à une certaine époque, dieux et bodhisattvas étaient vénérés au même endroit. Cette croyance confère au sanctuaire Santo une histoire mystérieuse. Selon la légende, il aurait été fondé au VIIe siècle et aurait été incendié lors d'une guerre, avant d'être reconstruit au sein du temple Konzo-ji au XVIe siècle par un moine nommé Taikan. Plus tard, lors de la séparation du shintoïsme et du bouddhisme durant l'ère Meiji, ce sanctuaire subsista, tandis que le temple Konzo-ji disparut.