Im Jahr 1892 wurde in Jerusalem die Bibliothek Midrash Abrabanel gegründet. Im Laufe der Jahre sammelte sie sowohl historische und neue Werke, die mit der Tradierung intellektueller Werte im Judentum im Zusammenhang standen, wie auch andere Bücher, die in verschiedenen Teilen der jüdischen Welt produziert wurden. Als 1925 die Hebräische Universität in Jerusalem gegründet wurde, erhielt die Bibliothek den offiziellen Namen "Jewish National and University Library" und ihr Sammlungsauftrag wurde beträchtlich erweitert. Bis 1948 befand sich die Bibliothek auf dem Campus Mount Scopus der Hebräischen Universität. Nach dem Unabhängigkeitskrieg wechselte die Bibliothek mehrfach ihr Domizil in Jerusalem, bis sie schließlich im November 1960 in ihr gegenwärtiges Gebäude auf dem Campus Givat Ram der Universität zog. Im July 2008 wurde die Bibliothek infolge des neuen Gesetzes über die Nationalbibliothek von 2007 in "The National Library of Israel" umbenannt.

Zusätzlich zu der großen Sammlung gedruckten Materials besitzt und entwickelt die Israelische Nationalbibliothek seit ihrer Gründung eine Vielzahl von Sondersammlungen. Eine der wichtigsten ist die Sammlung von Archivalien. Über Jahre hinweg war die Bibliothek die einzige Institution in Palästina, die überhaupt Archivmaterial sammelte. Die Sammlung reicht zurück bis zum Jahr 1927, als der persönliche Nachlass von Achad Ha'am aufgrund seiner testamentarischen Verfügung an die Bibliothek gelangte. In den folgenden Jahren wurden der Nationalbibliothek weitere Nachlässe übergeben, wie die von Stefan Zweig, Samuel Josef Agnon, Martin Buber, Else Lasker-Schüler und Albert Ehrenstein.

Heute beherbergt die Archivabteilung der Nationalbibliothek mehr als 600 Privatnachlässe, wovon die meisten das Lebenswerk herausragender jüdischer Persönlichkeiten der verschiedensten Richtungen illustrieren: Schriftsteller und Poeten, Philosophen und Gelehrte, Rabbiner, Führer der zionistischen Bewegung, Wissenschaftler, Journalisten, Kritiker und weitere. Die Archivabteilung betreut auch Fotografien, Ephemera (z. B. Poster, Handzettel, etc.) und einen kleineren Bestand institutioneller Archive.