ปราสาทวาคาเอะสร้างขึ้นโดยตระกูลฮาตาเกยามะ ผู้ปกครองแคว้นคาวาจิ ในช่วงต้นยุคมุโรมาจิ และได้ผ่านสงครามมามากมายนับแต่นั้นมา ในยุคเท็นโช คริสเตียน อิเคดะ ทังโงโนะกามิ โนริมาสะ ได้ครองปราสาทและได้สร้างโบสถ์และสิ่งปลูกสร้างอื่นๆ ทำให้ปราสาทแห่งนี้เป็นศูนย์กลางของศาสนาคริสต์ในคาวาจิ เคียงข้างกับยาโอะ ซังกะ (ปัจจุบันคือเมืองไดโตะ) และโอกายามะ (ปัจจุบันคือเมืองชิโจนาวาเตะ) อย่างไรก็ตาม ไม่พบหลักฐานใดๆ ที่บ่งชี้ว่าปราสาทแห่งนี้ถูกใช้เป็นฐานที่มั่นในการโจมตีวัดอิชิยามะฮงกันจิของโนบุนางะ และปราสาทแห่งนี้ก็กลายเป็น "ปราสาทร้าง" มาเป็นเวลานาน อย่างไรก็ตาม การขุดค้นที่ดำเนินการหลังจากปี พ.ศ. 2515 ได้ค้นพบส่วนหนึ่งของคูน้ำที่ล้อมรอบใจกลางปราสาท ซึ่งยืนยันการมีอยู่ของปราสาทอีกครั้ง ตัวปราสาทมีความยาวประมาณ 380 เมตรจากตะวันออกไปตะวันตก และ 280 เมตรจากเหนือไปใต้ (พจนานุกรมชื่อสถานที่ในญี่ปุ่นคาโดคาวะ) ปัจจุบันมีอนุสาวรีย์ที่ทำเครื่องหมายบริเวณที่ตั้งปราสาทตั้งอยู่เชิงสะพานคนเดินด้านหน้าศูนย์ชุมชนวาคาเอะ แต่ข้อมูลมากมายเกี่ยวกับปราสาทแห่งนี้ยังคงเป็นปริศนา