On dit qu'il fut construit à la fin du Ve siècle sur ordre impérial du 24e empereur Ninken, à l'emplacement du palais de Tanbishibarigamiya, dont l'empereur Hanzei fit la capitale durant la première moitié du Ve siècle. Ihara Saikaku s'y rendit également au début de l'époque d'Edo et composa un poème à son sujet. Le sanctuaire Ha est également célèbre ; la légende veut que toucher les dents du « Ha-gami », la seule statue représentant un brossage de dents au Japon, située dans son enceinte, renforce les dents.