据说西琳寺的起源是应神朝后期渡海的百济学者王仁博士归化后，其后裔河内的文氏致力于文化的发展，钦明天皇时将自家的一部分作为精舍。寺内的巨石是佛教考古学上罕见的五重塔心础，约7500贯 (28吨) 的塔础是飞鸟朝样式中规模最大的。