Le nom du lieu Ninnaji, où se situe le sanctuaire du même nom, provient du fait qu'il s'agissait autrefois du territoire du temple Ninnaji de Kyoto. On pense que le sanctuaire a été fondé au début de l'époque Muromachi et qu'il s'appelait alors Hakusan Gongensha. En 1633 (Kan'ei 9), Nagai Shinano no Kami Naomasa devint seigneur du domaine et commença à vénérer Sugawara no Michizane ; depuis lors, il est également connu sous le nom de sanctuaire Tenmangu. La légende raconte que le bâtiment du sanctuaire fut emporté par les eaux lors de la rupture de la digue de la rivière Yodo et qu'il fut déplacé à son emplacement actuel, au centre du village. De nombreux arbres ont été plantés dans l'enceinte du sanctuaire.