Sam početak rada Biblioteke vezuje se za sredinu 19. veka, kada ju je osnovao ugledni državnik i gročanin Ilija Garašanin, čije ime i danas nosi s ponosom. Od tada, mnogi građani su shvatili važnost Biblioteke kao institucije, pa su doprinosili njenom rastu i bogaćenju fonda. Nakon Drugog svetskog rata, Biblioteka je postala deo Narodnog univerziteta. Sve do 1985. godine, kada je Skupština opštine Grocka odlučila da zgradu u kojoj se biblioteka nalazi preda Narodnom univerzitetu Grocka, s namerom da je koristi kao Matičnu biblioteku.
Mrežu Biblioteke čine Centralna biblioteka i tri ogranka. Centralna biblioteka se sastoji od pozajmnog odeljenja, čitaonice i Legata prof. dr Aleksandra Kostića. Posebno mesto zauzima izdvojeno dečije odeljenje, namenjeno najmlađim čitaocima.