據《紐約時報》報道,一位關心此事的父親稱,在用他的Android智能手機拍攝他的幼兒腹股溝感染的照片後,Google將這些圖片標記為兒童性虐待材料(CSAM)。該公司關閉他的賬戶並向美國傢失蹤和被剝削兒童中心(NCMEC)提交一份報告,這引發警方的調查。
這一情況凸顯在潛在虐待和無辜照片成為用戶數字圖書館的一部分後試圖區分兩者之間的復雜情況。
去年,當蘋果宣佈其兒童安全(Child Safety)計劃時,人們對模糊哪些內容應被視為隱私的後果表示關切。作為該計劃的一部分,蘋果將在蘋果設備上的圖像上傳到iCloud之前進行本地掃描,然後將這些圖像跟NCMEC的已知CSAM哈希數據庫進行匹配。如果發現足夠多的匹配,人類管理員就會審查這些內容,如果內容包含CSAM則就會鎖定用戶的賬戶。
非營利性數字權利--組織電子前沿基金會(EFF)抨擊蘋果的計劃,稱它可能會為用戶的私人生活打開一個後門,“它代表所有iCloud照片用戶隱私的減少而不是改進”。
蘋果最終擱置存儲圖像掃描部分,但隨著iOS 15.2的推出,它繼續在傢庭共享計劃中推出一個兒童賬戶的可選功能。如果父母選擇加入,那麼在孩子的賬戶上,信息應用會分析圖像附件並確定照片是否包含裸體與此同時保持信息的端到端加密。如果檢測到裸體,那麼它將模糊圖像、為孩子顯示一個警告並向他們提供旨在幫助在線安全的資源。
《紐約時報》強調的主要事件發生在2021年2月,當時由於COVID-19大流行,一些醫生辦公室仍在關閉。正如《紐約時報》所指出的,Mark(他的姓氏未被透露)註意到他孩子的生殖器區域有腫脹,並在一名護士的要求下在視頻咨詢前發送該問題的圖像。醫生最終開出治愈感染的抗生素。
據《紐約時報》報道,馬克在拍攝這些照片僅兩天後就收到Google的通知,稱他的賬戶被鎖定,原因是含有害內容,這被認為“嚴重違反Google的政策,並可能是非法的”。
像許多互聯網公司一樣,包括Facebook、Twitter和Reddit,Google已經使用微軟的PhotoDNA進行哈希匹配以掃描上傳的圖片並檢測跟已知CSAM的匹配。
2018年,Google宣佈推出其內容安全API人工智能工具包,它可以主動識別從未見過的CSAM圖像以便對其進行審查,如果確認為CSAM則盡快刪除並報告。它將該工具用於自己的服務,並跟YouTube工程師開發的視頻目標CSAI Match哈希匹配解決方案一起,同時也提供給其他人使用。
一位Google發言人告訴《紐約時報》,Google隻在用戶采取肯定行動時掃描用戶的個人圖像,這顯然包括將他們的照片備份到Google照片。該傢媒體指出,當Google標記出剝削性圖片時,那麼聯邦法律要求Google將潛在的犯罪者報告給NCMEC的CyberTipLine。2021年,Google向NCMEC的CyberTipLine報告621,583起CSAM案件,而NCMEC向當局提醒4260名潛在受害者,《紐約時報》稱這個名單包括Mark的兒子。
據報道,Mark最終失去對他的電子郵件、聯系人、照片乃至他的電話號碼的訪問權--因為他使用Google Fi的移動服務。Mark立即試圖對Google的決定提出上訴,但Google拒絕他的請求。Mark居住的舊金山警察局則在2021年12月對馬克展開調查並掌握他在Google存儲的所有信息。《紐約時報》指出,負責此案的調查員最終發現,該事件不符合犯罪的要素且沒有發生犯罪。
Google發言人Christa Muldoon在給The Verge的電子郵件聲明中說道:“兒童性虐待材料(CSAM)是令人憎惡的,我們致力於防止它在我們的平臺上傳播。我們遵循美國法律來定義什麼是CSAM並使用哈希匹配技術和人工智能的組合來識別它並從我們的平臺上刪除它。此外,我們的兒童安全專傢團隊審查標記的內容是否準確並跟兒科醫生協商,以此來幫助確保我們能夠識別用戶可能尋求醫療建議的情況。”
雖然保護兒童免受虐待的重要性毋庸置疑,但批評者認為,掃描用戶照片的做法不合理地侵犯他們的隱私。EFF的技術項目主任Jon Callas在給《紐約時報》的一份聲明中稱Google的做法是侵入性的。“這正是我們都擔心的惡夢。他們要掃描我的傢庭相冊,然後我就會遇到麻煩,”Callas這樣跟《紐約時報》說道。