메이지 37년(1904), 에도시대부터 오사카를 본거지로 사업을 계속해 온 스미토모가의 제 15대 스미토모요시 좌환문유순(토모이토)이 도서관 건물과 도서 구입 자금을 기부한 것에 의해 건설된 도서관.
당초는 「오사카 도서관」이라는 명칭이었지만, 후에 「오사카 부립 나카노시마 도서관」으로 개명. 다이쇼 11년(1922)에는, 좌우 양익 부분도 스미토모가의 기부에 의해 증축. 쇼와 49년(1974)에는 본관과 함께 국가의 중요문화재로 지정되어 있다.
석조 3층, 동포의 돔이 우뚝 솟은 중후한 건물로, 건축을 담당한 것은, 스미토모 임시 건축부의 건축가·노구치손시와 히다카동. 나카노시마 도서관은 오사카와 관련된 자료와 고전적, 비즈니스 관계의 서적에 특화되어 있다.
조용하고 편리한 입지조건도 있고, 창건 120년 이상을 거친 지금도 여전히 연구자나 책을 사랑하는 사람들에게 사랑받고 있다.