On raconte que le temple fut fondé durant l'époque Heian, avec un Bouddha de pierre sculpté par Kūkai comme image principale. Il fut finalement fondé durant l'époque Edo par un moine local nommé Jogon. Ce dernier était un personnage si dévoué qu'il était vénéré par le cinquième shogun, Tokugawa Tsunayoshi, et d'autres seigneurs féodaux. Le site abrite l'érable Yubae, un arbre que l'on dit octogénaire, dont le feuillage d'automne est spectaculaire. Classé parmi les biens culturels faisant partie du patrimoine japonais « Ville où l'on peut découvrir le Moyen Âge », il abrite également le Shaka Nyorai de style Seiryoji (bien culturel important) et une maison du trésor construite en 1927, inscrite au patrimoine culturel matériel national.