ชื่อสถานที่วัดนินนาจิ ซึ่งเป็นที่ตั้งของศาลเจ้านินนาจินั้น มาจากข้อเท็จจริงที่ว่าครั้งหนึ่งเคยเป็นอาณาเขตของวัดนินนาจิในเกียวโต เชื่อกันว่าศาลเจ้าแห่งนี้ก่อตั้งขึ้นในช่วงต้นยุคมุโระมาจิ และในสมัยนั้นเรียกว่า ฮาคุซัง กองเง็นฉะ ในปี ค.ศ. 1633 (ปีคะเนย์ที่ 9) นากาอิ ชินาโนะ คามิ นาโอมาสะ ได้ขึ้นครองราชย์และเริ่มบูชาสุกะวาระ โนะ มิจิซาเนะ และตั้งแต่นั้นมา ศาลเจ้าแห่งนี้ก็ถูกเรียกว่า ศาลเจ้าเท็นมังงุ กล่าวกันว่าอาคารศาลเจ้าถูกน้ำพัดหายไปเมื่อเขื่อนกั้นน้ำโยโดแตก จึงได้ย้ายมาตั้งที่ปัจจุบันใจกลางหมู่บ้าน ภายในบริเวณศาลเจ้ามีการปลูกต้นไม้จำนวนมาก