يُقال إن هذا المعبد شُيّد في نهاية القرن الخامس بأمر إمبراطوري من الإمبراطور الرابع والعشرين نينكين، على موقع قصر تانبيشيباريغاميا، الذي اتخذه الإمبراطور هانزي عاصمةً له في النصف الأول من القرن الخامس. وقد زاره إيهارا سايكاكو في أوائل فترة إيدو، وألّف قصيدةً عن شيباريغاميا. كما يشتهر ضريح ها، ويُقال إن لمس أسنان "ها-غامي"، وهو التمثال الوحيد في اليابان الذي يُصوّر تنظيف الأسنان، داخل ساحاته يُقوّي الأسنان.