香港在 1841 年開埠，1842 年根據「南京條約」被滿清割讓予英國，1843 年「英王制誥」宣稱香港為英國皇家殖民地，直至 1997 年主權移交中國。在英治香港時期，政府行政長官為香港總督（簡稱港督），由英國君王委任。不過，港督其實要面對很多制衡，在 1971 年之前，英國殖民地部（Colonial Office）對於港英政府的行政運作，特別是財政使用，就保留一定權力。
17 世紀末，英國已在各地建立了龐大的殖民網絡。不過，初時英國殖民地管理政出多門，並沒有統一協調的部門，殖民地交由南部大臣（Secretary of State for the Southern Department）管豁。1696 年，英國政府於樞密院下設立貿易及種植園委員會（Board of Trade and Plantations），與南部大臣兼理殖民地事務。1768 年，隨著北美形勢愈來愈複雜，英國特意設立殖民地大臣（Colonial Secretary）專責處理問題；美國獨立後，殖民地大臣一職也被廢。
在此之後，除了印度以外的殖民地事務皆由英國內政部（Home Office）跟進，到 1801 年又交到戰爭部（War Office），並更名為戰爭及殖民地部（War and Colonial Office）。隨著殖民版圖擴張，英國政府在 1825 年已經於戰爭及殖民地部之下設立次長職位，主理殖民地事宜。1854 年克里米亞戰爭爆發後，國際形勢更加複雜，戰爭及殖民地部再次分拆，一直到 1966 年全球解殖浪潮，英國失去絕大部分殖民地，殖民地部才成為歷史。
不過，殖民地部其實並非直接管治殖民地，這是殖民地總督的工作，身在倫敦的官員也難以遙距指揮。殖民地部所扮演的更多是監察角色，特別是殖民地政府的財政表現。該部門由內務文官隊伍（Home Civil Service）組成，概念相當於香港的公務員。而殖民地部是由殖民地事務大臣（Secretary of State for the Colonies）所領導，是民選政府內閣的一部分。不過內閣官員始終是政客並非官僚，其真正戰場在議會，大部分時間不會處理殖民地的行政細節。
歷史學家 Gavin Ure 在其著作 Governors, Politics and The Colonial Office 指出，在港英歷史早年，香港政府權力其實很有限，很多時都要跟從殖民地部的提案。雖然港督由英國君王直接任命，但該決定通常由殖民地事務大臣所建議。而且港英政府的財政預算、主要的人事任命都要經過內閣大臣首肯，在過程之中，殖民地部一班技術官僚手握很大的實質權力。殖民地的公務員與倫敦殖民地部的公務員雖然經過同一個入學試，但後期仕途軌跡不同，雙方存在一定張力。
早年港督，有軍人（如砵甸乍）、東印度公司職員（如戴維斯）、政客（如寶寧），但更多是殖民地的公務員體系出身。Ure 指出，在 1918 到 1958 年期間，香港出過 9 任港督，除了司徒拔原是倫敦殖民地部文員之外，大部分官員都是殖民地體系出生的公務員，例如葛量洪是在香港輔政司署展開公職生涯，柏立基一開始則是在馬來亞工作。香港早期很多建設項目，就在殖民地部的把關下一度被否決，例如天文台的構思方案，亦多次否決香港早年政制改革的建議。
不過，由於牽涉到英國對華政策，香港問題比起很多殖民地更加複雜，殖民地部只是其中一個政治角色。英國殖民史學家 Frank Welsh 在著作 A History of Hong Kong 描寫 19、20 世紀交界時的香港指：
香港明顯依存於殖民地部的勢力範圍，但其他利益與殖民地部相衝突的部門，會站在對立的位置。
Welsh 特別提到，英國外交部，例如駐廣州大使，就不時會與香港總督意見相左。另外，一些在港英商如渣甸，也在倫敦政界有深厚人脈。港督就正正是要面對這些體制內外的制衡。
到 1966 年，英國的殖民帝國基本上瓦解，沒有必要再特設部門處理少數的殖民地事宜，於是殖民地部被拼入大英國協事務部（Commonwealth Office），兩年後又與外交部合併，成為外交及國協事務部（Foreign and Commonwealth Office）。1970 年代後，考慮到香港九七問題，港督人選亦多改由外交官出任，例如麥理浩（前駐南越大使）和尤德（前駐中國大使）。
