ในรัชสมัยจักรพรรดิอุดะ ปลายยุคเฮอัน (ปลายศตวรรษที่ 9) เมื่อโรคระบาดร้ายแรงเกิดขึ้นในพื้นที่นี้และมีผู้เสียชีวิตจำนวนมาก ได้มีการประทานพรจากเทพเจ้าว่า "หากสร้างศาลเจ้าขึ้นและประดิษฐานโกซุเท็นโนไว้ ณ ที่นี้ โรคภัยไข้เจ็บจะบรรเทาลง" เชื่อกันว่าเทพเจ้าองค์นี้ทรงสามารถปัดเป่าภัยพิบัติและโรคระบาดได้ ดังนั้นเมื่อประดิษฐานทันที โรคภัยไข้เจ็บก็สงบลงทันที กล่าวกันว่านี่คือที่มาของศาลเจ้าที่สร้างขึ้น ณ ที่แห่งนี้และประดิษฐานเป็นศาลเจ้าโกซุเท็นโน ต่อมาในปลายศตวรรษที่ 10 ปราสาททาคาสึกิก็ถูกสร้างขึ้น และศาลเจ้าโกซุเท็นโนได้รับการเคารพนับถือจากผู้ปกครองปราสาทในขณะนั้นในฐานะผู้พิทักษ์ปราสาท ยิ่งไปกว่านั้น เมื่อทาคายามะ อุคง ขึ้นครองราชย์เป็นผู้ปกครองปราสาททาคาสึกิ เขาได้ทำลายอาคารศาลเจ้าที่ตั้งอยู่ภายในปราสาทและยึดที่ดินของศาลเจ้าเนื่องจากเขานับถือศาสนาคริสต์ ในปี ค.ศ. 1619 (ปีเก็นวะที่ 5) มัตสึไดระ คิอิโนะคามิ เจ้าผู้ครองปราสาททาคาสึกิ ได้สร้างศาลเจ้าขึ้นใหม่ ต่อมา โนมิโนะซุคุเนะโนะมิโคโตะ ได้รับการประดิษฐานไว้ ณ ที่แห่งนี้ และศาลเจ้าจึงได้รับการเปลี่ยนชื่อเป็น "ศาลเจ้าโนมิ"