تم بناء المكتبة في عام 1904 (ميجي 37) عندما تبرع سوميتومو كيتشيزايمون توموزومي، الرئيس الخامس عشر لعائلة سوميتومو، التي كانت تدير أعمالها في أوساكا منذ فترة إيدو، بمبنى المكتبة وأموال لشراء الكتب.
كانت تُعرف في الأصل باسم "مكتبة أوساكا"، ثم أُعيد تسميتها لاحقًا إلى "مكتبة ناكانوشيما التابعة لمحافظة أوساكا". وفي عام ١٩٢٢، أُضيف الجناحان الأيمن والأيسر بفضل تبرعات من عائلة سوميتومو. وفي عام ١٩٧٤، صُنفت المكتبة ضمن الممتلكات الثقافية الهامة إلى جانب المبنى الرئيسي.
صُمم هذا المبنى المهيب، بهيكله الحجري ذي الطوابق الثلاثة وقبته النحاسية، على يد المهندسين المعماريين ماغويتشي نوغوتشي ويوتاكا هيداكا من قسم الإنشاءات المؤقتة في شركة سوميتومو. وتتخصص مكتبة ناكانوشيما في المواد المتعلقة بأوساكا، والكتب الكلاسيكية، وكتب الأعمال.
بفضل موقعها الهادئ والمريح، لا تزال تحظى بشعبية كبيرة بين الباحثين ومحبي الكتب، حتى بعد مرور أكثر من 120 عامًا على تأسيسها.