Se dice que fue construido a finales del siglo V por orden imperial del vigésimo cuarto emperador Ninken en el emplazamiento del Palacio Tanbishibarigamiya, del que el emperador Hanzei hizo capital en la primera mitad del siglo V. Ihara Saikaku también lo visitó a principios del período Edo y compuso un poema sobre Shibarigamiya. El Santuario Ha también es famoso, y se dice que tocar los dientes de "Ha-gami", la única estatua de Japón que se cepilla los dientes, dentro de sus terrenos, fortalece los dientes.