Durante el reinado del emperador Uda, a finales del período Heian (finales del siglo IX), cuando una terrible enfermedad azotó esta zona y causó la muerte de muchas personas, se recibió una revelación divina que decía: «Si se construye un santuario y se consagra aquí a Gozu Tenno, la enfermedad remitirá». Se decía que este dios protegía de desastres y epidemias, por lo que, al ser consagrado inmediatamente, la enfermedad remitió al instante. Se dice que este fue el origen del santuario, construido aquí y consagrado como Santuario de Gozu Tenno. Posteriormente, a finales del siglo X, se construyó el Castillo de Takatsuki, y el Santuario de Gozu Tenno fue venerado por el entonces señor del castillo como su guardián. Además, cuando Takayama Ukon se convirtió en señor del Castillo de Takatsuki, destruyó el santuario ubicado dentro del castillo y confiscó sus tierras por ser cristiano. En 1619 (Genwa 5), Matsudaira Kii-no-kami, señor del Castillo Takatsuki, reconstruyó el santuario. Posteriormente, Nomi no Sukune no Mikoto fue consagrado allí y el santuario pasó a llamarse "Santuario Nomi".