荷蘭鹿特丹市每年為約 3 萬名公民提供生活津貼，當中成千上萬的個案涉嫌騙取福利。2017 年，該市政府運用機器學習來分析案例數據，從而根據申領者的年齡、性別和語言能力等評估其欺詐風險；2021 年經荷蘭審計法院下令停用。非牟利跨國偵查報道組織 Lighthouse Reports 與美國媒體 Wired，從官方取得該算法的學習數據和模型，重構測試版本，揭示當中存在種族和性別歧視，以及一些結構漏洞。
他們虛構了兩個人物：單親媽媽 Sara 和伊拉克移民 Yusef，以追蹤該算法根據哪些資料作評分；Sara 的個案包括了性別、子女數目和關係狀況等因素。在荷蘭，基於性別和種族背景歧視他人屬於違法，但當這些信息轉化成算式中的數字 —— 用「1」或「0」表示描述狀況的「是」或「非」—— 則或存在灰色地帶；加上在「打擊福利欺詐」的旗幟掩護下，官員更可能採用敏感資料作判斷。荷蘭法院正因此而展開審查。
Yusef 的個案，衡量了包括母語、荷蘭語能力、居住社區和室友數目等。該算法總共評估了 315 項特質和變數，當中雖並無任何如「種族」或「出生地」等字眼，但荷蘭審計法院指出，「語言技能」涉及種族考慮，例如「荷蘭語是否流利」一項，可能「導致不必要的歧視」。該算法還為各種母語設定不同數字，影響風險評分，例如「0」代表該系統中過半數人所使用的語言。
算法還包含了評核員的主觀判斷，例如 Sara 的「上班衣著不合適」、Yusef「工作態度欠主動」等；任何評論更會被簡化顯示為「1」或「0」，換言之，正面和負面評價的分數相同；例如「1」代表「是」，當評核員新增評語「不希望取得成果」，它與「希望取得成果」將同樣獲得 1 分。然而，評核員手冊上既沒說明任何評價也將影響計分，亦欠缺撰寫評語的指引或注意事項。
約 3 萬名福利申領者中，分數最高的 10%（排名最後約 3,000 位），將被視為欺詐風險最高而需進一步審查。測試發現，當一位原本排名第 16,815 的荷蘭男性，更改其中 8 項因素：性別（由男變女）、子女數目（增加至 2 個）、關係狀況（轉為單身）、支付賬單出現困難等，其排名將跌至第 28,717 位，與 Sara 看齊；又例如將其母語由荷蘭語改為阿拉伯語、居於移民社區、與人分租房屋、不積極找工作等，僅 5 項改動已足以使其跌至第 28,746 位，與 Yusef 相同。
該算法的機器學習模式固然複雜，但評分時卻採用了「決策樹」（decision tree）的基本結構；以上述個案為例：男性和女性會分別衍生出兩個不同分支，繼而採用不同的變數來評估風險 —— 女性可能被考量是否有孩子或單身，而男性則可能被評估其語言技能和經濟狀況 —— 使其難以衡量每個獨立變數如何影響個別評分。
現實生活中，人們還可能會犯下不同的違規行為 —— 從填寫表格時的無心之失，到有組織犯罪也有。 但該算法是從數百萬個訓練數據中，推斷出某些模式以作預測，在尋找共同性的過程中，將無心之失和蓄意欺詐歸為同一類。刑事司法系統技術應用專家 Julia Dressel 指出，該算法將可能因「荷蘭語水平不足」而導致的「無心之失」，理解成與「欺詐傾向」之間的關聯，從而得出「不會說荷蘭語的移民，在科學上是不可信的」結論。
此外，該算法是透過隨機選擇、匿名提示和每年更改的類別檢查來取得訓練數據。假如當中出現系統性偏差，例如男和女的數據來源或比例不一，將產生男女不平等的評估結果。另外，該市至少需大約 880 名年輕人，才能反映 27 歲以下申領福利人口的實際比例，但該算法只評估了 52 個年輕人的數據樣本，便推斷出「年輕人更可能觸犯福利欺詐」。
鹿特丹並非唯一使用演算法來審查福利領取者的城市，但卻是目前資訊最透明的。該市財務官員 Annemarie de Rotte 認為，有必要讓人們更了解該模型的運作，以及使其他政府和組織意識到運用算法的風險：「這不但是因為我們想成為一個公開透明的組織，更希望從他人的見解中學習。」
