วัดไซรินจิ เชื่อกันว่าก่อตั้งขึ้นเมื่อ ดร.วานิ นักวิชาการจากแพกเจ ผู้ซึ่งเดินทางมายังญี่ปุ่นในช่วงปลายยุคโอจินและได้เข้ารับศาสนาพุทธโดยการแปลงสัญชาติ ลูกหลานของเขาคือตระกูลบุนแห่งคาวาจิ ซึ่งได้พัฒนาวัฒนธรรม และในรัชสมัยจักรพรรดิคินเม พวกเขาได้เปลี่ยนบ้านบางส่วนให้กลายเป็นวัด เสาหินขนาดใหญ่ภายในบริเวณวัดเป็นฐานหลักของเจดีย์ห้าชั้น ซึ่งเป็นสิ่งก่อสร้างที่หาได้ยากในโบราณคดีทางพุทธศาสนา และฐานหอคอยซึ่งมีน้ำหนักประมาณ 7,500 คัน (28 ตัน) เป็นหนึ่งในฐานที่ใหญ่ที่สุดในยุคอาสึกะ