ห้องสมุดแห่งนี้สร้างขึ้นในปี ค.ศ. 1904 (เมจิที่ 37) เมื่อสุมิโตโมะ คิจิซาเอมอน โทโมซูมิ หัวหน้าตระกูลสุมิโตโมะรุ่นที่ 15 ซึ่งดำเนินธุรกิจในโอซาก้ามาตั้งแต่สมัยเอโดะ ได้บริจาคอาคารห้องสมุดและเงินทุนสำหรับซื้อหนังสือ
เดิมชื่อ "ห้องสมุดโอซาก้า" ต่อมาได้เปลี่ยนชื่อเป็น "ห้องสมุดจังหวัดโอซาก้า นากาโนชิมะ" ในปี 1922 ได้มีการต่อเติมปีกซ้ายและขวาด้วยเงินบริจาคจากตระกูลซูมิโตโมะ และในปี 1974 ได้รับการขึ้นทะเบียนเป็นมรดกทางวัฒนธรรมที่สำคัญพร้อมกับอาคารหลัก
อาคารโอ่อ่าตระการตาแห่งนี้ ด้วยโครงสร้างหินสามชั้นและโดมหลังคาทองแดง ได้รับการออกแบบโดยสถาปนิก มาโกอิจิ โนงุจิ และ ยูทากะ ฮิดากะ จากแผนกก่อสร้างชั่วคราวของบริษัทซูมิโตโมะ ห้องสมุดนากาโนชิมะเชี่ยวชาญด้านหนังสือที่เกี่ยวข้องกับโอซาก้า หนังสือคลาสสิก และหนังสือธุรกิจ
ด้วยทำเลที่เงียบสงบและสะดวกสบาย ทำให้ที่นี่ยังคงเป็นที่นิยมในหมู่นักวิจัยและผู้รักหนังสือ แม้จะก่อตั้งมานานกว่า 120 ปีแล้วก็ตาม