據說西琳寺的起源是應神朝後期渡海的百濟學者王仁博士歸化後，其後裔河內的文氏衹力於文化的發展，欽明天皇時將自家的一部分作為精舍。寺內的巨石是佛教考古學上罕見的五重塔心礎，約7500貫 (28噸) 的塔礎是飛鳥朝樣式中規模最大的。