กล่าวกันว่าศาลเจ้าแห่งนี้สร้างขึ้นในช่วงปลายศตวรรษที่ 5 ตามพระราชดำรัสของจักรพรรดินินเก็นองค์ที่ 24 บนที่ตั้งของพระราชวังทันบิชิบาริกามิยะ ซึ่งจักรพรรดิฮันเซได้ทรงสถาปนาให้เป็นเมืองหลวงในช่วงครึ่งแรกของศตวรรษที่ 5 อิฮาระ ไซคาคุ ก็เคยมาเยือนในช่วงต้นยุคเอโดะและได้ประพันธ์บทกวีเกี่ยวกับชิบาริกามิยะ ศาลเจ้าฮาแห่งนี้ยังโด่งดังมาก และกล่าวกันว่าการสัมผัสฟันของ "ฮา-กามิ" ซึ่งเป็นรูปปั้นแปรงฟันเพียงแห่งเดียวในญี่ปุ่นภายในบริเวณศาลเจ้า จะทำให้ฟันแข็งแรงขึ้น