En 665 (la quatrième année du règne de l'empereur Tenchi), il y a environ 1 300 ans, En no Gyoja ressentit une énergie spirituelle au mont Kongo à l'âge de 16 ans. Après une longue période d'entraînement, il fit construire le temple Kongosan Tenpōrin-ji à son sommet. À cette époque, il y fit également ériger le sanctuaire Katsuragi, dédié à sa divinité ancestrale, Hitokotonushi no Okami, comme divinité protectrice. Cet événement marquerait le début de la renommée du mont Kongo comme montagne sacrée où le shintoïsme et le bouddhisme s'entremêlent.