La bibliothèque a été construite en 1904 (Meiji 37) lorsque Sumitomo Kichizaemon Tomozumi, le 15e chef de la famille Sumitomo, qui dirigeait ses affaires à Osaka depuis l'époque d'Edo, a fait don du bâtiment de la bibliothèque et des fonds pour l'achat de livres.
Initialement nommée « Bibliothèque d'Osaka », elle fut rebaptisée « Bibliothèque préfectorale Nakanoshima d'Osaka ». En 1922, les ailes gauche et droite furent ajoutées grâce à des dons de la famille Sumitomo. En 1974, elle fut classée Bien culturel important, au même titre que le bâtiment principal.
L'imposant bâtiment, avec sa structure en pierre de trois étages et son dôme au toit de cuivre, a été conçu par les architectes Magoichi Noguchi et Yutaka Hidaka du département de construction temporaire de Sumitomo. La bibliothèque Nakanoshima est spécialisée dans les ouvrages relatifs à Osaka, les classiques et les livres de gestion.
Grâce à son emplacement calme et pratique, il reste populaire auprès des chercheurs et des amoureux des livres, plus de 120 ans après sa fondation.