Se dice que el Templo Sairinji surgió cuando el Dr. Wani, un erudito de Baekje que llegó a Japón a finales de la era Ojin y se naturalizó budista. Sus descendientes, el clan Bun de Kawachi, trabajaron para desarrollar la cultura y, durante el reinado del emperador Kinmei, convirtieron parte de su hogar en un templo. El megalito que se encuentra en el recinto del templo es la base central de una pagoda de cinco pisos, un tipo de estructura poco común en la arqueología budista, y la base de la torre, con un peso aproximado de 7500 kan (28 toneladas), es una de las más grandes del período Asuka.