1841 年 1 月鴉片戰爭期間，英軍佔領香港島，標誌著香港正式開埠。往後一百多年，香港由轉口港發展成工業城市，再化身國際大都會。對於早期殖民史，人們很常討論高尚白人群體，如高級公務員、軍官將領和銀行大班等對香港發展的影響力。然而，香港白人群體構成其實很複雜，當時也有一班白人工人遠赴這個東方小鎮謀生，並留下各種故事。
1975 年，時任香港大學社會學教授黎必治（Henry J. Lethbridge）在「皇家亞洲學會期刊」發表文章，重構 19 世紀白人工人的生活面貌。1898 年，英國才取得新界的租借權，在此之前，香港幅員狹隘，因此來定居的歐洲人不算多，加起來不過 3,000。不像英國其他殖民地，如加拿大和紐西蘭，有龐大的莊園和工廠而需要大量工人和農夫；來到香港的白人通常是中產階級（例如商行大班），黎必治形容他們是「旅居者」（sojourners），大部分都沒有與家中小孩落地生根的打算。
不過黎必治指出，依然有少數白人工人階級（佔總數約 3 分 1）在香港生活，這班人可按職業概括分作五類。第一類是港口貧民（beachcomber），他們基本上是海上版的流浪漢，在太平洋群島時會出現。香港的港口貧民通常是被遣散的海員，甚至是海軍逃兵（通常是美軍）；當然，也有人是嚮往這種流浪生活，希望在不同港口遊歷期間打散工；亦都有人是因為酗酒、濫藥等問題而無法找到穩定工作。那時候港英政府視他們為安全隱患，滋事者被捕會被罰做苦力。
第二類藍領階級是中低級的警務人員。1845 年，倫敦警察廳的梅理警司被派到香港籌組警隊。初代警隊由陸軍、海軍，甚至商船保安抽調而成，梅理也有在英國本土及其他殖民地招募。不過在 1850 年，一名初級警官也只不過賺到 15 元，遠低過其他殖民地。這班人的士氣長期低落，據說有不少人長期光顧廉價酒館，甚至有人酗酒至死。第六任港督麥當奴於是爭取改為在蘇格蘭招聘警員，首批 45 人在 1872 年到港，但仍無助改善質素，警隊貪污十分猖獗。
另外，還有一批白人士兵和水手。一般而言，香港駐軍不過 1,500 人；除了 1860 年第二次英法聯軍之役，九龍半島一度屯駐約 1.4 萬名士兵（英國 1 萬，法國 4,000）。這些士兵平時不得進入白人商家定居的維多利亞城，部隊在哨站的生活十分苦悶，很少社交生活。1850 年代，今天灣仔一帶（維多利亞未擴充到當地）就開了 5 間妓院，以滿足軍人需要。除此之外，英國的中國艦隊中隊每到冬季就停泊香港 3 個月，亦帶來隨團水手和海軍。
第四類人是機械工人、工匠和勞動階層。鰂魚涌的太古糖廠據指僱用約 50 至 60 名歐洲人以及數百名中國人；渣甸的中國糖廠也聘請約 25 名歐洲人，多為監工、機械工人和工程師。除此之外，中華煤氣公司、香港電力、青洲英坭和九龍倉都招攬了不少歐洲人做熟手技工。黎必治形容，這班技師社會向上流動的機會比較高，他們能夠累積經驗，由前線技工晉升為監工，再拾級而上，然後躋身中產階級。
不過值得一提的是，當時然有很多藍領工種，社會地位較低，生活亦比較困苦。例如，海事處會找白人管理燈塔，海關亦有白人工人打點船隻和貨物，另外民間還有歐洲裁縫、理髮師、帽匠、麵包師傅、書商、印刷商、攝影師等等，他們有些是直接在英國本土應徵，有些香港駐軍退役後也會留下尋找工作機會。在香港的酒吧，亦有不少歐洲人做經理，不過他們很多不是英國藉，包括有葡萄牙人。上述勞動空缺有時也會由港口貧民填補。
黎必治提及，最後一批白人是「賤民」（outcastes），主要是來自歐洲的娼妓，大多出身貧苦，本來在舊金山、夏威夷、悉尼、墨爾本等地的紅燈區工作，部分人是要逃避警察而遠走香港。也有些女子到了香港才流落風塵，例如一位叫布麗奇特（Bridget Montague）的女子於 1873 年被捕，她是加州人，嫁給一名葡萄牙小店主，兩人一起到香港後，卻被丈夫拋棄。後來，她找到一名本地酒吧工人作倚靠，對方又醉酒闖事被捕，身無分文的她只好做妓院生意。
布麗奇特的故事，反映香港白人群體也充斥各種階級和性別矛盾。受教育的白人女士可以到修院學校當老師，但窮女子走投無路，就只能做皮肉生意。在 1877 年，警方掌握大概 17 名歐洲性工作者的資料，多為法國女子，準備前往橫濱和上海；不過大部分性工作者是地下性質。布麗奇特後來被罰 50 元，監禁 1 個月，要接受半年醫學監察。她最終遇上一位港口貧民，離開香港。除了成功商人，很多白人工人階級在香港打拼後實現了夢想，也有些黯然地離開了這個東方小鎮。
