雖然其創建日期不詳，但它是一座古老的神社，被記載於《延喜記》（日本皇室古代事務記錄簿）中。神社坐落於昔日鏡宮山所在地，被尊為當地土地的守護神和淀川的守護神。神社最初由水手建造，祈求航行平安，免受洪水侵襲。據說在甲斐天皇在位期間，高岡神被供奉於伊加敷王命和伊加敷目命的府邸之中。意賀美神社檔案中保存著數學祈願牌，即“三白”，這些祈願牌是為了祈求神佛保佑數學家們取得進步而製作的。數學家岩田清陽曾在此地接受治療，並於1861年向菅神社的前身牛頭天王神社供奉了一塊牌匾，以感謝神社保佑他康復。神社內也種植約110棵梅樹，因此被稱為「伊上梅林」。