Le temple Horakuji fut fondé en 1178 par Taira Shigemori, fils aîné de Taira Kiyomori, chef du clan Taira. On raconte que Shigemori le fit construire pour honorer les esprits des soldats tombés au combat lors des rébellions de Hogen et de Heiji, dans un esprit d'égalité entre amis et ennemis, et pour abriter le bodhisattva Nyoirin Kannon, le Bouddha personnel de Minamoto no Tametomo. Le temple fut détruit par un incendie lors des campagnes d'Oda Nobunaga en 1571, mais reconstruit au milieu de l'époque d'Edo sur les terres du palais du clan Oda, dans le domaine de Matsuyama à Yamato. C'est là que se trouvent aujourd'hui le hall principal et la porte d'entrée. Le temple est également connu comme le lieu où Jion Sonja (1718-1804), surnommé le « Petit Shakyamuni du Japon », étudia les caractères sanskrits et prêcha les Dix Bonnes Paroles du Dharma (la Voie de l'Homme), et devint moine à l'âge de 13 ans. À l'intérieur du temple se trouve le musée commémoratif Kosaka Kiseki, qui abrite les œuvres du regretté Kosaka Kiseki, calligraphe récompensé par le prix impérial de l'Académie des beaux-arts du Japon.