ปราสาทคิชิวาดะยังคงไม่ทราบวันที่แน่ชัดและผู้สร้าง แต่ในช่วงปลายยุคเซ็นโกกุ (กลางศตวรรษที่ 16) ปราสาทแห่งนี้เคยเป็นที่พำนักของตระกูลมัตสึอุระ ซึ่งปกครองภูมิภาคเซ็นชูในขณะนั้น ในปี ค.ศ. 1585 หลังจากที่ฮาชิบะ ฮิเดโยชิ ทำลายวัดเนโกโรจิในคิชู โคอิเดะ ฮิเดมาสะ ลุงของฮิเดโยชิ ได้ขึ้นครองปราสาทและบูรณะป้อมปราการหลักครั้งใหญ่ให้กลายเป็นหอคอยปราสาทสูงห้าชั้น นับแต่นั้นมา ปราสาทคิชิวาดะอยู่ภายใต้การปกครองของตระกูลโคอิเดะถึงสามรุ่น ตามมาด้วยมัตสึไดระ (มัตสึอิ) ยาซูชิเกะ และยาสึเทรุ ตั้งแต่ปี ค.ศ. 1619 และตระกูลโอคาเบะ ตั้งแต่ปี ค.ศ. 1640 โอคาเบะ โนบุคัตสึ ได้บูรณะปราสาทเพิ่มเติมและสร้างเป็นปราสาทสมัยใหม่ และตระกูลโอคาเบะอาศัยอยู่ที่นี่เป็นเวลา 13 รุ่นจนถึงยุคฟื้นฟูเมจิ ในปีพ.ศ. 2370 หอคอยปราสาทถูกทำลายจากฟ้าผ่า และในระหว่างการปฏิรูปเมจิ เจ้าของปราสาทได้ทำลายสิ่งอำนวยความสะดวกต่างๆ ของปราสาท เช่น ป้อมปราการและประตู แต่มีเพียงคูน้ำและกำแพงหินเท่านั้นที่ยังคงเหลืออยู่ ซึ่งเป็นโครงสร้างก่อนยุคสมัยใหม่
หอคอยปราสาทในปัจจุบันเป็นอาคารสามชั้นสามชั้นที่สร้างขึ้นใหม่ในปี ค.ศ. 1954 ภายในคุณสามารถเพลิดเพลินกับห้องจัดแสดงนิทรรศการและหอสังเกตการณ์ ด้านหน้าหอคอยปราสาทคือ "สวนฮาจิจิน" ที่ออกแบบโดยมิเรอิ ชิเงโมริ