Este santuario era venerado como la deidad guardiana de Tsumura-go, provincia de Settsu, que abarca zonas como Senba, Nakanoshima, Kyomachibori y Utsubo. Se le conoce cariñosamente como "Goryo-san", pero originalmente esta zona era una ensenada circular cubierta de juncos llamada Tsuburae, y allí se construyó el Santuario Tsubura, dedicado a la deidad guardiana. Se dice que el topónimo Tsumura es una versión corrupta de Tsuburae. En 1594, Hideyoshi consagró juntos el pequeño Santuario Inui Hachiman y el Santuario Minamoto Masareisha, y desde entonces el santuario se llama "Santuario Goryo". Ubicado en el centro del comercio y las finanzas, fue en su día un lugar de culto popular para los comerciantes de Senba y los estudiantes de Tekijuku y Kaitokudo. Además, desde la era Meiji hasta 1926, los terrenos del templo se utilizaron como escenario para las actuaciones del Teatro Goryo Bunraku, una compañía de teatro de marionetas precursora del actual Teatro Nacional Bunraku, y la zona estaba repleta de espectáculos y puestos nocturnos.