يُقال إنه بُني في عهد الإمبراطورة سويكو (593-628) في شيغينو، وهي الآن جزء من حي جوتو بمدينة أوساكا. اسم الجبل، شيغيسان، مُشتق من المنطقة، واسم المعبد، هوانجي، مُشتق من الكوان (دعاء لنشر البوذية) المُخصص للمعبد. كان في الأصل معبدًا لضريح إيكوكونيتاما، ولكن بعد بناء قلعة هيديوشي، نُقل المعبد إلى موقعه الحالي. منحته شوغونية توكوغاوا 300 كوكو من الأرض للمعبد، ومنذ ذلك الحين، عبد أمراء قلعة أوساكا المتعاقبون هوانجي بإخلاص. ومع ذلك، خلال فترة إصلاح ميجي، فقد المعبد أرضه بسبب الحركة المناهضة للبوذية والحركة المناهضة للشياكو (البوذية). أعاد تاتسويه، كبير كهنة هوانجي، بناء المعبد في موقعه الحالي عام ١٨٧٩. إلا أنه تعرض لاحقًا لكارثة مأساوية أخرى، إذ احترق مجددًا في غارة جوية ضخمة في مارس ١٩٤٥، محوّلًا المعبد إلى رماد. لحسن الحظ، نجا تمثالا شوكانون وكانجيتن من الحريق، وأعاد تاتسويه، كبير كهنة هوانجي، بناءهما، ولا يزالان قائمين حتى يومنا هذا.