El topónimo Ninnaji, donde se ubica el Santuario Ninnaji, proviene de que antiguamente pertenecía al Templo Ninnaji de Kioto. Se cree que el santuario fue fundado a principios del período Muromachi, y en aquel entonces se llamaba Hakusan Gongensha. En 1633 (Kan'ei 9), Nagai Shinano no Kami Naomasa se convirtió en el señor del dominio y comenzó a venerar a Sugawara no Michizane, y desde entonces también se le conoce como Santuario Tenmangu. Se dice que el edificio del santuario fue arrasado por la rotura del dique del río Yodo, por lo que se trasladó a su ubicación actual en el centro del pueblo. Hay muchos árboles plantados en el terreno del santuario.