في عهد الإمبراطور أودا في أواخر فترة هييان (أواخر القرن التاسع)، عندما تفشى وباءٌ مُريعٌ في هذه المنطقة وتسبب في وفاة الكثيرين، ورد وحيٌّ إلهيٌّ يقول: "إذا بُني ضريحٌ ووُضع فيه غوزو تينو، فسينحسر الوباء". وقيل إن هذا الإله يقي من الكوارث والأوبئة، ولذلك عندما وُضع فيه، انحسر الوباء فورًا. ويُقال إن هذا هو أصل الضريح، الذي بُني هنا ووُضع فيه ضريح غوزو تينو. لاحقًا، في نهاية القرن العاشر، بُنيت قلعة تاكاتسوكي، وكان ضريح غوزو تينو يُبجّله سيد القلعة آنذاك بصفته حارس القلعة. علاوةً على ذلك، عندما أصبح تاكاياما أوكون سيد قلعة تاكاتسوكي، هدم مبنى الضريح الموجود داخل القلعة وصادر أرضه لكونه مسيحيًا. في عام ١٦١٩ (غينوا ٥)، أعاد ماتسودايرا كي-نو-كامي، سيد قلعة تاكاتسوكي، بناء الضريح. لاحقًا، كُرِّست فيه "نومي نو سكوني نو ميكوتو"، وغُيِّر اسم الضريح إلى "ضريح نومي".