圖書館是散播知識，推動文化發展的重要場所，對社會至關重要。英國殖民者在 1840 年代到達香港，即使當時資源匱乏，生存狀況艱難，仍開始建立資訊傳播和儲藏的體系。香港早期圖書館學家 H. A. Rydings 曾經在「皇家亞洲學會香港分會會刊」發表研究，指出香港早在 1848 年就有首座圖書館，名為「維多利亞圖書館及閱讀室」（Victoria Library and Reading Rooms）。
「維多利亞圖書館及閱讀室」的歷史曾經一度被湮沒，要由 Rydings 等學者從舊報章、文章和官方文件慢慢拼湊出來。1933 年，一份名為 Colonial 的雜誌記載：「早在 1848 年，一家私人圖書館就在香港建立了。該組織經營一個帶閱覽室的小型圖書館幾年，成為了之後大會堂圖書館（City Hall Library）的基礎。Colonial 的文章未有提及圖書館名稱，但提到在 1871 年，該機構考慮到香港將成立公共圖書館，故把組織變成「維多利亞會」（Victoria Club）。
Rydings 也發現了「維多利亞圖書館和閱覽室」於 1852 年 6 月 12 日舉行的年度股東大會之報告。該報告記錄了書籍按照大小進行排列，使外觀更整齊。當中沒有記錄書籍總數，但當年增加了 75 個部書，共 133 冊。當年的會員數從 63 增加到 66 人：19 名新會員加入、10 名會員離開殖民地、1 人去世、5 人退出。年度財務報告為 1,755.02 元，現金餘額 37.11 元。最大支出是從英國購買書籍、期刊和報紙，共 675.83 元，場地租金則佔 355 元。
當時有人批評「維多利亞圖書館和閱覽室」的位置太難找，其具體地址到今天仍不太清晰。1852 年一則廣告曾指出圖書館位於皇后大道，但 1867 年另一則廣告卻指是雲咸街。Rydings 也不知道圖書館是否曾搬遷，但是同年委員會報告提到新地點將每年額外增加 120 元租金。Rydings 表示需要查找後續年度報告來解答地址的問題，而如果能找到 1852 年的印刷目錄副本，也會相當有趣。
1852 年，一份名為 Dixson’s Hongkong Recorder 的刊物也印了 3 份關於「維多利亞圖書館」的公告。第一則公告是宣佈圖書館會在 6 月 21 日晚上 8 點舉行委員會會議，目的是選擇下一批郵購的書籍；另一則公告是指 6 月份的包裹在半島東方輪船公司的船上一度遺失，可幸被找到，而該月除了恆常雜誌外，還有多本新書到港。7 月 9 日最後一則公告也是關於購入新書，例如前港督戴維斯（John Francis Davis）的 China, During the War and Since the Peace。
Rydings 表示，除了會員之外，一些訪問殖民地的船長和旅客也可以在會員介紹下免費享用閱覽室。不過 George Henry Preble 的著作 The Opening of Japan 就記載在 1853 年，維多利亞圖書館險些釀成致命意外。一支美國海軍艦隊的軍官隊伍到訪圖書館，打算享受一個小時的寧靜閱讀時間，可是大理石鋪成的走廊突然倒塌，幸好一張梳化墜落時撞到另一面牆，反過來保護了兩名受傷士兵的頭部，不過其中一人仍摔斷了手臂。
事故的原因似乎是走廊的樑柱遭白蟻啃食，不過沒有文獻說明白蟻是否也攻擊了書籍。毫無疑問，那個時期維多利亞圖書館的書籍經常遭受昆蟲破壞，還同時受到黴菌侵襲，Rydings 形容這是熱帶圖書館的兩大疾患。在晚期，一些併入香港大會堂的「摩利臣圖書館」（Morrison Library）卷宗就被昆蟲嚴重損壞，以至於該圖書館於 1873 年的印刷目錄副本要增加註釋，說明有哪些書籍因蟲禍而必須丟棄。
到 1867 年，維多利亞圖書館已經陷入困境。1 月 21 日，Evening Mail 一份社論指會員人數已經降至 60 人，比 1852 年時還少，而要支撐必要的訂閱收入，就需要 80 至 100 名會員。該社論續指，即使會費高昂（每月 2 元），但會員身份沒有任何明顯好處。圖書館訂閱的雜誌質素雖然高，數量卻十分不足，只有少數訂閱者使用得到。而且很多居民也訂閱了海外報紙，對圖書館的需求不大，藏書又以經典為主，忽略了當代文學。
兩年後維多利亞圖書館已經步向衰落，而香港舊大會堂也接近完工。當時報道指，香港舊大會堂收藏、分類和編目一大批書籍，是當時華南地區最完善的藏品。整個收藏的核心是「摩利臣圖書館」（Morrison Library），主要經私人捐贈，例如皇家亞洲學會。1871 年，香港舊大會堂的圖書館共有 8,000 冊書，其中 3,000 冊就由維多利亞圖書館的受託人無條件贈送，而維多利亞圖書館也完成其歷史任務。
