ไม่มีการระบุไว้อย่างชัดเจนว่าเป็นศาลเจ้าโบราณที่เชื่อกันว่าสร้างขึ้นที่นี่โดยจักรพรรดิจิมมุ ผู้ทรงอธิษฐานขอให้การเดินทางของพระองค์ไปยังทิศตะวันออกประสบความสำเร็จ ในปีที่สองของรัชสมัยจักรพรรดิชูไอ (ค.ศ. 200) เมื่อจักรพรรดินีจิงกูเสด็จเยือนพื้นที่ดังกล่าว น้ำใสก็พุ่งพล่านขึ้นมาอย่างกะทันหัน จักรพรรดินีทรงพอพระทัยในสิ่งนี้และประดิษฐานไว้เป็นน้ำพุศักดิ์สิทธิ์ จึงได้เรียกพื้นที่นี้ว่า "อิซุมิ" เชื่อกันว่าโทโยโทมิ ฮิเดโยชิ ได้นำน้ำจากน้ำใสอิซุมิไปยังปราสาทโอซาก้าและใช้ในพิธีชงชา ในปีที่สองของรัชสมัยเรกิ (ค.ศ. 716) เมื่ออิซุมิโนะเก็นก่อตั้งขึ้นและพื้นที่ดังกล่าวกลายเป็นศูนย์กลางทางการเมืองท้องถิ่น ศาลเจ้าอิซุมิคุนิโซชะจึงถูกสร้างขึ้นถัดจากศาลเจ้าอิซุมิอิโนะอุเอะ เพื่อประดิษฐานศาลเจ้าอิซุมิห้าองค์ (เทพเจ้าสำคัญห้าองค์ ได้แก่ โอโทริ อิซุมิอานาชิ ฮิจิริ สึมิคาวะ และฮิโนเนะ) ทางทิศเหนือของห้องโถงหลักของศาลเจ้าอิซุมิอิโนอุเอะยังคงเป็นที่ตั้งของอาคารศาลเจ้าหลักของโกฉะโซฉะ ซึ่งได้รับการสร้างขึ้นใหม่โดยโทโยโทมิ ฮิเดโยริในปี ค.ศ. 1605 และได้รับการกำหนดให้เป็นทรัพย์สินทางวัฒนธรรมที่สำคัญของญี่ปุ่น