Znanstvena knjižnica se sastoji od nekoliko zbirki. Najvažnije su Zbirka rijetkih knjiga, inkunabula, rukopisa, korespondencije i Zavičajna zbirka Ragusina. Te zbirke su pohranjene u baroknoj palači koja je svojevremeno pripadala dubrovačkoj plemićkoj obitelji Caboga. Obitelj Caboga je dala nekoliko značajnih osoba u povijesti Dubrovnika. Marojica Caboga, diplomat iz 17. stoljeća bio je jedan od najistaknutijih pripadnika svoje obitelji. Bernard (Brnja) Caboga živio je početkom 19. stoljeća i bio svjedok posljednjih dana samostalne Dubrovačke Republike i njenog pada 1808. godine. Kao pripadnici plemstva, članovi obitelji Caboga sudjelovali su u vladajućem sloju Dubrovačke Republike. Druge zbirke (skoro 400.000 tiskanih knjiga, časopisa, audio-vizualne građe, sitnog tiska, zemljopisnih karata) čuvaju se u ljetnikovcu Skočibuha na Boninovu, izvan gradskih zidina. Ljetnikovac Skočibuha, koji se sastoji od palače, kapele, gospodarske zgrade i vrta, sagrađen je na početku 16. stoljeća u renesansnom stilu. Zgrada je pretrpjela velika oštećenja tijekom rata 1992. godine. Znanstvena knjižnica je službeno utemeljena i otvorena uoči Drugog svjetskog rata, 1941. godine, iako su zbirke sakupljene ranije. Temelj knjižnice su darovi učenih građana Dubrovnika i starih obitelji, i zbirke koje su pripadale bivšoj knjižnici isusovačkog Collegiuma Rhagusinum (rukopisi, korespondencija, libreta, knjige, inkunabule). Znanstvena knjižnica je 1977. godine preselila u renesansni ljetnikovac Skočibuha na Boninovu, gdje se i danas nalazi. Od 2000. godine dio fonda je preseljen u baroknu palaču Caboga.