El templo es conocido como el lugar donde Saigyo, poeta de finales del período Heian, murió durante la temporada de floración de los cerezos, como reza su poema: «Deseo morir en primavera bajo las flores, cuando la luna llena brille en Kisaragi». Ubicado al pie del monte Katsuragi, sus alrededores son famosos por ser un lugar ideal para contemplar la floración de los cerezos. Se dice que En no Gyoja fundó el templo en el año 665 (cuarto año del reinado del emperador Tenchi), Gyoki se formó aquí en el 737 (noveno año de Tenpyo) y Kukai renovó por completo los edificios del templo en el 812 (tercer año del reinado de Kōnin). Aunque el templo fue incendiado durante una guerra del clan Hatakeyama, fue reconstruido posteriormente. La sala principal y otros edificios fueron reconstruidos y se mantienen en pie hasta nuestros días. Dentro del recinto del templo se encuentran la tumba de Saigyo y el Salón Saigyo, y en la parte trasera del edificio principal del templo se encuentra el Museo Memorial Saigyo, que alberga una estatua de Saigyo y una colección de pinturas, caligrafía y otros materiales relacionados con Saigyo.