วัดเซ็นโชจิสร้างขึ้นบนซากปราสาทอะยาอิ ซึ่งครั้งหนึ่งเคยตั้งอยู่ในเมืองทาคาอิชิ เมื่อปราสาทอะยาอิถูกไฟไหม้ในสมัยเซ็นโกคุ ผู้ติดตามคนหนึ่งได้หลบหนีออกจากวัดโดยแบกพระพุทธรูปอมิตาภะไว้บนหลัง ท่ามกลางศัตรู เขาจึงกระโดดลงไปในคูน้ำของปราสาทพร้อมกับพระพุทธรูปและเสียชีวิต ต่อมา พระเก็นโยะได้ทำตามคำทำนายในความฝัน จึงได้ค้นพบพระพุทธรูปอมิตาภะในคูน้ำของปราสาท ท่านจึงได้ประดิษฐานพระพุทธรูปนี้ไว้บนซากปราสาท ตราประทับของปราสาทที่ขายไปมีการสลักชื่อของวัดไว้ ทำให้เป็นของหายาก