1841 年英軍登陸，香港逐漸發展成貫通中西貿易的轉口港，經濟活動愈趨繁榮，吸引不少工人前來謀生。19 世紀本地也出現不少階級矛盾，而且添上種族元素，令社會形勢更複雜。學者蔡榮芳就曾經在 Bulletin of Concerned Asian Scholars 講述 19 世紀中葉香港的工人的抗爭史。
工人中的結社
香港的民眾抗爭歷史長久，最初以華工罷工的形式爆發，抗議港英當局在生活和工作層面的各種管制。來自同一祖籍、說同一方言的華工會傾向在職場聚集一起，並在同一地區生活，早期大多數轎伕是講潮州話的福佬人。華工能夠組織起罷工，反映當時華人已經有各種類似「公會」（guild）、「工會」或「秘密結社」的組織出現，除了工匠外亦擴展到各行各業。這些組織會以威嚇手段要求工人一起抗爭，導致 1857 年政府立法禁止此類恐嚇行為。
在 19 世界中葉，華工透過罷工向港英政府表達不滿，並非罕見。
蔡榮芳列舉的例子包括 1862 年艇戶罷工，抗議港英政府要求註冊和作出規管的新法令。翌年輪到轎伕罷工，性質類似，反對車輛註冊規管的法令。1872 年，一班運送貨物的苦力（又稱咕喱）因政府試圖徵收咕喱館登記費而罷工。1883 年，當警方嘗試清除主要街道上的街邊攤位時，小販們也發起騷亂；同年人力車夫因政府減少人力車牌照，令部分人痛失生計，也觸發騷亂，有人威脅向政府和洋人社區發動起義。
苦力之苦
除了政策和執法問題，早年華工的生活狀況相當刻苦，也是原因之一。蔡榮芳引述 1882 年 7 月 19 日一份關於香港衛生狀況的報告，指有 25 名轎伕在街市街一棟房子的上層搭建床位睡覺；樓下則由七名轎匠佔據，用作工作坊和住所。同樣，太平山區一座建築物的底層主要由蔬菜攤販住戶居住，他們在巷子裡清洗貨品，使整個地方「經常潮濕且惡臭」。許多攤販來自東莞，一些來自廣東四邑。這些方言群體之間經常發生爭執。
當港英政府威脅到工人的共同利益時，他們大多能組織共同行動。1872 年本地運貨苦力有接近 1.9 萬人，許多人來自東莞，更多人來自四邑。東莞和四邑的苦力通常住在由同鄉經營的宿舍咕喱館。咕喱館大小不一，但都非常擁擠，100 多名苦力擠滿一個舍宿也不罕見。當年的苦力罷工，正是由於政府試圖監管咕喱館，每有 10 名住客就要交每年 5 元的執照費用。於是，咕喱頭把成本轉嫁給苦力，每人每年收取 5 毫，以此煽動苦力罷工。
咕喱頭會充當「經紀人」，苦力們要依賴他們尋找在港口的工作機會，故他們在工人群體中有很大話語權，甚至猶如一個方言群體的領袖。不過咕喱頭本身也有階級之分。有些咕喱頭本身就是房東，而其他人則是「包租公」，向房東租房再分租。那些不同住的房東通常是富裕商人，如果苦力罷工，必然會損害他們的商業利益，所以他們會熱切地與政府合作，充當中間人，希望透過協商解決騷亂。
苦力本身也會有自己的小領袖，並與一些咕喱頭密切溝通。若苦力想要加薪，就會通過自己的頭領，或者在某些情況下通過買辦來交涉。罷工時，頭領通常會提供資金給苦力，以支付他們的生活費用，以維持罷工；公會組織則會協調同一籍貫的工人事務。蔡榮芳指這些組織似乎不僅僅是工人階級組織，因為小商人和咕喱頭經常加入並主導這些行會，例如一個名為「四邑公會」的組織，就由一名會計擔任經理。
三合會滲透
除了一般「公會」或「工會」，在 19 世紀的香港，三合會也發揮一定影響力。人們同樣會圍繞自己的方言和家鄉籍貫來組織三合會，某些會館以本地人為主，也在一些屬於福佬人或客家人的會館。三合會滲透到貨運苦力、艇戶、小販和轎伕的公會組織，在罷工和民眾騷亂時便積極參與政治活動。不過，他們的成員主要局限於中下階級的華人。蔡榮芳引述督察威廉昆西（William Quincey，原名王經年，首位華人高級警官）的講法，沒有理由相信有富裕華人和與三合會有聯繫。
然而，即使已經出現公會和三合會，在 1884 年之前，香港工人不同方言群體之間的競爭和敵對始終阻礙了工人階級團結，只有當政府當局威脅到他們的共同利益時，同一職業、不同方言的群體才會聯合起來罷工。要到大約 1884 年中法戰爭引發華人暴動，香港才出現一場跨群體的群眾罷工運動。
