La biblioteca fue construida en 1904 (Meiji 37) cuando Sumitomo Kichizaemon Tomozumi, el decimoquinto jefe de la familia Sumitomo, que había dirigido su negocio en Osaka desde el período Edo, donó el edificio de la biblioteca y fondos para comprar libros.
Originalmente llamada "Biblioteca de Osaka", posteriormente pasó a llamarse "Biblioteca Nakanoshima de la Prefectura de Osaka". En 1922, se añadieron las alas izquierda y derecha gracias a donaciones de la familia Sumitomo. En 1974, fue declarada Bien Cultural Importante junto con el edificio principal.
El imponente edificio, con su estructura de piedra de tres pisos y su cúpula con techo de cobre, fue diseñado por los arquitectos Magoichi Noguchi y Yutaka Hidaka, del Departamento de Construcción Temporal de Sumitomo. La Biblioteca Nakanoshima se especializa en materiales relacionados con Osaka, libros clásicos y libros de negocios.
Gracias a su ubicación tranquila y conveniente, sigue siendo popular entre investigadores y amantes de los libros, incluso más de 120 años después de su fundación.