ศาลเจ้าอาเบะโนะเซเมเป็นบ้านเกิดของอาเบะโนะเซเม องเมียวจิ (หมอดูชาวญี่ปุ่น) ผู้โด่งดังที่ได้รับความนิยมอย่างล้นหลามในช่วงไม่กี่ปีที่ผ่านมา ตำนานเล่าว่าอาเบะโนะเซเมเกิดกับอาเบะโนะยาสึนะ ผู้นำตระกูลอาเบะโนผู้ทรงพลัง และสุนัขจิ้งจอกสีขาวชื่อคุซุโนฮะ เมื่อคุซุโนฮะค้นพบตัวตนที่แท้จริงของสุนัขจิ้งจอกสีขาว เธอได้เขียนบทกวีอันโด่งดังบนฉากโชจิว่า "ถ้าคิดถึงฉัน ก็แวะมาหาฉันนะ อิซึมินารุ ชินตะโนะโมริโนะอุรามิคุซุโนฮะ" ตามประวัติของศาลเจ้า ศาลเจ้าอาเบะโนะเซเมก่อตั้งขึ้นในปี ค.ศ. 1007 สองปีหลังจากที่เซเมเสียชีวิต บริเวณศาลเจ้ามีอนุสาวรีย์ที่ระลึกถึงบ้านเกิดของเซเม ซึ่งสร้างขึ้นในยุคบุนเซในสมัยเอโดะ รวมถึงซากอ่างอาบน้ำเกิดของเขา ศาลเจ้าแห่งนี้เคยรุ่งเรืองแต่เสื่อมโทรมลงในช่วงปลายสมัยเอโดะ ได้รับการสร้างขึ้นใหม่ในปีพ.ศ. 2464 ให้เป็นศาลเจ้าสาขาของศาลเจ้าอาเบโนะโอจิ ซึ่งตั้งอยู่ทางทิศใต้ประมาณ 50 เมตร และอาคารศาลเจ้าปัจจุบันสร้างขึ้นในปีพ.ศ. 2468 มุมดูดวงซึ่งมีธีมที่แตกต่างกันไปในแต่ละวันก็ได้รับความนิยมอย่างมากเช่นกัน