Le temple est connu comme le lieu où Saigyo, poète de la fin de l'époque Heian, serait mort durant la saison des cerisiers en fleurs, comme l'indique son poème : « Je souhaite mourir au printemps, sous les fleurs, lorsque la pleine lune brille sur Kisaragi. » Situé au pied du mont Katsuragi, le temple est entouré d'un site réputé pour admirer les cerisiers en fleurs. La légende raconte qu'En no Gyoja fonda le temple en 665 (la quatrième année du règne de l'empereur Tenchi), que Gyoki s'y entraîna en 737 (la neuvième année de Tenpyo) et que Kukai rénova entièrement les bâtiments en 812 (la troisième année du règne des Kōnin). Bien que le temple ait été entièrement incendié lors d'une guerre menée par le clan Hatakeyama, il fut par la suite reconstruit. Le bâtiment principal et les autres édifices furent reconstruits et sont toujours debout aujourd'hui. Dans l'enceinte du temple se trouvent le tombeau de Saigyo et le pavillon Saigyo, et à l'arrière du bâtiment principal du temple se trouve le musée commémoratif Saigyo, qui abrite une statue de Saigyo et une collection de peintures, de calligraphies et d'autres objets liés à Saigyo.