雖然其創建日期不詳，但它是一座古老的神社，被記載於《延喜記》（日本皇室古代事務記錄簿）中。神社坐落於昔日鏡宮山所在地，被尊為當地土地的守護神和淀川的守護神。神社最初由水手建造，祈求航行平安，免受洪水侵襲。據說在甲斐天皇在位期間，高岡神被供奉於伊加敷王命和伊加敷目命的府邸之中。意賀美神社檔案中保存著數學祈願牌（數學牌），這些祈願牌經歷了神佛的祝福，據說能為數學家帶來進步。數學家岩田清陽曾在此地療養，1861年，他為感謝神明保佑康復，向菅神社的前身——牛頭天王神社供奉了一塊牌匾。神社內也種植約110棵梅樹，因此被稱為「伊上梅林」。