Aún se desconoce la fecha exacta y quién construyó el Castillo Kishiwada, pero hacia finales del periodo Sengoku (mediados del siglo XVI), fue la residencia del clan Matsuura, que gobernaba la región Senshu en aquel entonces. En 1585, tras la destrucción del Templo Negoro-ji en Kishu por parte de Hashiba Hideyoshi, el tío de Hideyoshi, Koide Hidemasa, se convirtió en el señor del castillo y renovó a fondo la ciudadela principal, convirtiéndola en una torre de cinco pisos. A partir de entonces, el Castillo Kishiwada fue gobernado por tres generaciones del clan Koide, seguidas por Matsudaira (Matsui) Yasushige y Yasuteru desde 1619, y posteriormente por el clan Okabe desde 1640. Okabe Nobukatsu renovó aún más el castillo, convirtiéndolo en un castillo moderno, y el clan Okabe residió allí durante 13 generaciones hasta la Restauración Meiji. En 1827, la torre del castillo fue destruida por un rayo y durante la Restauración Meiji, el señor del castillo destruyó las instalaciones del castillo, como las torretas y las puertas, pero solo el foso y los muros de piedra permanecen como estructuras premodernas.
La torre actual del castillo es una reconstrucción de tres plantas, construida en 1954. En su interior se puede disfrutar de la sala de exposiciones y la torre de vigilancia. Frente a la torre del castillo se encuentra el "Jardín Hachijin", diseñado por Mirei Shigemori.