這裡是通過天野街道前往紀州熊野的人們參拜的地方，所以也被稱為熊野神社。很久以前，有神佛同體說，有將神明和菩薩供奉在同一個地方的時代。三都神社因其信仰而經歷了不可思議的歷史。傳說是7世紀創建的，遭遇戰火燒毀過一次，但是在16世紀由叫做放棄觀的僧人在金藏寺內重建了。之後，明治時代的神佛分離留下了這個神社，金藏寺消失了。