يُشتق اسم نينّاجي، حيث يقع ضريح نينّاجي، من كونه كان في السابق جزءًا من معبد نينّاجي في كيوتو. يُعتقد أن الضريح قد بُني في أوائل عصر موروماتشي، وكان يُسمى آنذاك هاكوسان غونغينشا. في عام ١٦٣٣ (كاني ٩)، أصبح ناغاي شينانو نو كامي ناوماسا حاكمًا للمنطقة، وبدأ بعبادة سوغاوارا نو ميتشيزاني، ومنذ ذلك الحين، أصبح يُسمى أيضًا ضريح تينمانغو. يُقال إن مبنى الضريح قد جرفته المياه عند انهيار سد نهر يودو، لذلك نُقل إلى موقعه الحالي في وسط القرية. زُرعت العديد من الأشجار في محيط الضريح.