前文提到，在香港開埠早期，除了港督、殖民地高官和一眾商行大班從英國遠洋而至，也有一班中下階層的白人（如警察、水手、技工和流民）來到這個遠東殖民地，希望碰一碰運氣。這班白人平民的故事，是香港早年歷史重要一環，卻被世人遺忘。前香港大學社會學教授黎必治（Henry J. Lethbridge），曾在 70 年代於「皇家亞洲學會期刊」發表文章，細訴一群白人工人的生活面貌。
最初，這班白人居住在維多利亞城的商業區附近，即約今天中環一帶，以便找工作，有些人則沿著皇后大道搬到更東一點，大約是我們認識的灣仔區。1860 年英法聯軍之役，清廷再次打敗仗，英國透過「北京條約」取得九龍半島的管治權，開僻了很多新土地，大量白人工人就湧到當地。九龍一時之間多了很多英式排房（terrace），住客通常是船廠員工（也包括文員和工程師），有些小蒸氣船公司會在香港設立總部，而九龍也接近船塢和貨倉。
那個時候，白人群體的階級分明，住港島的白人會看不起九龍人，但由於租金實在便宜得多，工人們也無可奈何。不過，中下層白人（特別是士兵、水手和港口流民）最常流連的地方，還是港島太平山街一帶。在 1894 年香港鼠疫大流行前，那裡是華人聚集的貧民區，有大量的平價酒館，較不富裕的白人就這樣飲酒跳舞消磨一個晚上。該區也有很多華人女性，在妓院兜售生意。有傳教士批評，水手一上岸就發了瘋似的酗酒，也有人胡亂吃街檔水果而惹上霍亂。
黎必治就為藍領酒鬼們辯護，他們經常暴飲大喝，是因為在香港生活的確枯燥。一方面，當時消息流通不方便，他們往往要花幾個月時間才收到來自家鄉的消息，有些水手行船一年也無法登岸，內心長期孤立。他們被上流歐洲群體排斥，又難以找到同階級背景的年輕女性拍拖約會。除了酒吧外，他們頂多可以爬山、坐舢舨出海，或者到動植物公園，要不然就是到教堂；而在太平山的酒吧和妓院，他們是深受歡迎的一群人。
不過當時殖民政府就更關心酗酒對軍隊和文官帶來的影響。他們認為華人酒館出售的廉價米酒是有害的酒精（deleterious liquors），蠶害士兵和水手的身心；當時摩羅上街就是有名的「米酒角」（Samshu Corner）。除了酗酒，殖民政府也很擔心性病問題。1867 年通過的「傳染病條例」，要求為歐洲人服務的妓院，性工作者要強制接受身體檢查。不過在 19 世紀，駐港軍人的性病問題始終嚴重，1895 年，每 1,000 名軍人就有約 520 人受感染，數字是英國本土軍人的 3 倍。
這班中下層白人和上流白人存在各種張力的同時，又和本地華人區隔開來。在部分太平洋群島，基層白人會扮演在第一線傳授知識的角色，但來到香港情況則相反。本地華人有先進的木工、石工和冶煉技藝，可以滿足市場需要；競爭劇烈下，很少中下層白人能夠闖出名堂，除非是歐洲企業的機械工人，在公司一步步打拼上去。另一個造成區隔的原因是語言不通，當時通曉中文的白人工人寥寥可數，而本地華人普遍也沒有受過英文教育。
不過中下層白人偶爾也和與華人有「另類接觸」。長老宗傳教士丁韙良（W. A. P. Martin）在 1850 年在廣東登岸時，就遇到一班華人幫派對住白人叫囂「番鬼！番鬼！殺頭！殺頭！」。到 1890 年代，無論是白人、印度人抑或是日本人，偶爾也會在街上聽到辱罵。與此同時，有白人會找蜑家姑娘，把她們收作情婦，少數人甚至會結婚。不過，異族通婚在華人社會是禁忌，而且同時會被當時白人上流社會歧視。上流白人、下層白人、華人就分成三個複雜的社群，互相排斥，但同時又保持微妙的關係。在這樣的環境中，香港亦慢慢發展成亞洲重要的大都市。
