À droite du bâtiment principal se trouve le sanctuaire Kasuga, un sanctuaire annexe du sanctuaire Itsukushima. Il s'agissait du sanctuaire principal originel d'Itsukushima, qui fut déplacé ici vers la fin de l'époque d'Edo, lorsque l'ancien sanctuaire Kasuga Taisha de Nara devint le sanctuaire principal d'Itsukushima. La date de construction est inconnue, mais le style architectural suggère qu'il date du milieu ou de la fin de l'époque Muromachi. Ce bâtiment à une seule travée, de style ryū-zukuri, avec son toit en écorce de cyprès, lui confère un caractère régional légèrement différent de celui du sud de la préfecture d'Osaka, notamment en raison de sa proximité avec la préfecture de Kyoto. Le sanctuaire Kasuga, un sanctuaire annexe d'Itsukushima, a été classé Bien culturel important du Japon en 1978 (Showa 53).