在OpenAI發佈Sora之後,很多人驚呼人類已經邁入AI視頻時代。除一次次震驚世界的AI視頻生成能力展示之外,海外網友討論的最多的話題,還有“未來該如何避免虛假視頻充斥著我們的生活”?但在此之前,AI虛假視頻的發展速度,可能已經遠超我們的想象,它們已經走進我們熟悉的社交平臺,通過各種流量密碼,賺到比人類視頻博主更多的收入。
下面的數據可能更加直觀:小紅書一個名為“娜塔莎進口食品”的博主,在視頻中的人設是一位定居在中國的俄羅斯人,並通過這一身份發佈各種關於俄羅斯與中國生活的短視頻,和大傢科普各種俄羅斯知識,僅小紅書平臺粉絲量就在短短數月內突破 20 萬。
但現實是,這個賬號的各種視頻內容完全是由 AI 生成,甚至這個肖像的真人還是一位烏克蘭人,她的真名叫 Olga Loiek。
從這個賬號發佈的各種視頻中,不難看出背後的運營團隊深諳短視頻平臺的流量密碼:時不時拋出“喜歡中國,想買房子定居”“女性搬到中國是否要務農”這種極富爭議的社會話題,顯然很清楚如何利用好 Olga 的“流量密碼”,但這些也隻會加重受害者的痛苦。
在抖音等平臺,利用 Olga 肖像權制作虛假視頻的內容,往往是關於戰爭中俄羅斯一方的言論:例如“俄羅斯會感激中國朋友的支持”等在短視頻平臺反響熱烈的話題。
諷刺的是,抖音的老用戶可能會覺得這一刻似曾相識:去年六月,一位自稱“保爾柯察鐵”的“俄羅斯車臣人”在抖音走紅,依靠分享在戰爭前線的最新動態,迅速積攢超過三十萬粉絲,並順勢開啟帶貨:當然也是包括伏特加糖果在內的各種俄羅斯特色食物。
但在後續他發佈的各種“作戰”視頻中,被不少網友認出拍攝視頻的實際地點經常是河南洛陽某處的發電廠,最終被進一步扒出這位中文過於流利的車臣人,其實隻是特效濾鏡的效果。被揭開謎底之後的賬號不再被網友關註,最終無人問津。
雖然彼時諸如“柯察鐵”這樣的案例並不少,這些視頻尚且需要真人出鏡,即使漏洞百出,也吸引眾多沒有足夠辨認能力的觀眾,而到 Olga 的例子中,這些視頻產業鏈已經完全不需要一個漏洞百出的真人出鏡,取而代之的是一個完全由視頻素材訓練出的“克隆人”。
事實上,使用真人肖像打造出克隆人短視頻的工具已經相當成熟:克隆 Olga 的運營團隊使用的是一款名為 HeyGen 的 AI 肖像克隆軟件:這是一款已經非常成熟 AI 應用,網絡上能找到眾多面向初學者的 HeyGen 上手教程。使用價格上,即使是最貴的商用版本也隻需 72 美元/月。
在這些工具之前, AI 視頻基本還遵循著輸入足夠多相關肖像視頻素材,根據口型/表情對應生成相應的素材,生產對應的短視頻內容,即創作者口中嘲諷 AI 生成視頻的“拼屍塊”模式,但現在隨著 HeyGen 這樣的 AI 工具越來越多,生成一條高度逼真的短視頻所需要的素材,可能僅僅是原作者的幾張照片。
每月僅 500 人民幣的投入,創作克隆視頻換來的收益卻相當可觀:這些克隆賬號不僅能通過挑動流量話題賺錢,通過帶貨收入也是另一種主要方式:小紅書賬號下的清單中充斥著各種“俄羅斯特產食品”的鏈接,並且隨著克隆短視頻的帶動,給觀眾灌輸“俄羅斯經濟需要你們的支持”的思想,促使觀眾購買這些商品:截至2 月 19 日,其中一些單品銷量已經超過一萬。
Olga 也在自己上傳的視頻中提到,她和她的傢人曾多次就這個問題嘗試向小紅書、抖音等申訴,即使她們都很難理解復雜的中文條款所包含的意思,但這些申訴都沒有獲得正面的結果,無奈之下,才選擇自己真人發佈視頻,將整件事和盤托出。
在 Olga 發佈視頻揭開這個問題,並引起全球網友熱議的兩周內,這個賬號仍然在小紅書等平臺正常存活:賬號簡介中,最新的一條視頻的主題甚至是慶祝中國新年,同時仍然有很多不明真相的網友,在評論區中回復賬號運營者刻意煽動起的各種問題。給 Olga 關於“買房”“找中國人當老公”等建議。
與此同時,Olga 的傢人所能做的,也隻有在社交媒體上呼籲 HeyGen 的開發者采取行動,避免這種被 AI 換臉的事件發生在更多人身上。
2 月 20 日,這個賬號才被“封禁”:沒有任何常規賬號封禁的相關提示,消失在平臺中。
看起來這起事件告一段落,但在過去的數月中,黑產團隊賺到帶貨收入與流量分成所得,平臺坐享其成收獲流量,觀眾收獲心理滿足感與“俄羅斯特產”,隻有 Olga 本人和傢人承受痛苦。
按照 Olga 本人在 YouTube 發佈的視頻中所言:“我們的傢人在戰爭中不得不在不斷的空襲和轟炸中東躲西藏。在這段時間裡,看到自己的臉被用來向數十萬人宣傳俄羅斯,這並不有趣”。
蘋果公司聯合創始人史蒂夫·沃茲尼亞克近期也警告稱,AI 視頻內容行業需要強監管。同時監管機構應該也應該追究大型科技公司在其中疏於監管乃至縱容的責任。
中國在 2020 年五月發佈的《民法典》中第 1019 條,其實已經有相關的條文:
任何組合或者個人不得以醜化、污損,或者利用信息技術手段偽造等方式侵害他人的肖像權。未經肖像權人同意,不得制作、使用、公開肖像權人的肖像,但是法律另有規定的除外。
未經肖像權人同意,肖像作品權利人不得以發表、復制、發行、出租、展覽等方式使用或公開肖像權人的肖像。
此前頒佈的《互聯網信息服務深度合成管理規定》中,也明確規定內容提供者需要按照對生成的圖片、視頻等內容進行標識,但目前主流短視頻平臺也沒有足夠有效的方式來應對:在類似沒有明確標註的 AI 生成視頻下,小紅書會對疑似 AI 內容自動生成的內容自動打上標識,但除此之外並沒有更多有效的應對方式。
在小紅書社區公約中,也明確表示冒充他人等行為屬於侵權, 抖音也專門設置關於人工智能生成內容的平臺規范暨行業倡議、人工智能生成內容標識的水印與元數據規范,並推出虛擬形象賬號備案指引。
抖音安全中心相關負責人對電廠表示,抖音安全中心針對技術手段仿冒虛假人設、不當獲取粉絲的賬號,持續進行專項治理。對於違規賬號,平臺采取包括全面禁言和粉絲清零在內的處罰措施,近期已處罰賬號67個。下一步平臺將加大治理力度,也歡迎用戶在發現違規賬號時點擊舉報,平臺將在第一時間核實處理。
此前,抖音官方信息發佈賬號“抖音黑板報”曾發佈打擊黑灰產違規“漲粉養號”行為的公告,其中涉及多項違規行為,就包括利用人工智能技術(AIGC)創建虛擬人物仿冒真人或批量發佈低俗低質內容。
不過,對於Olga這種已經涉及到明確侵犯肖像權的事件,如果內容平臺的“正義執行”在兩周乃至更長時間之後才姍姍來遲,這不僅是給黑產團隊可乘之機,甚至在很大程度上已經縱容更多類似事件的發生。
遠在 Sora 之前,從 deepfake 震驚世界的那一天起,AI 換臉就已經開始快速發展,並隨著各種越來越易用的工具被開發出來,黑產產業鏈也如同影子般迅速成長:從一開始的換臉到變聲,直到如今以假亂真的 AI 短視頻泛濫,內容監督的技術與管理已經遠無法跟上現實的需求。
如果沒有行之有效的監管與審核,下一個伴隨著流量密碼誕生的 Olga,隻會更具煽動性且更難以辨別,且近在眼前。
遠在 Sora 之前,從 deepfake 震驚世界的那一天起,AI 換臉就已經開始快速發展,並隨著各種越來越易用的工具被開發出來,黑產產業鏈也如同影子般迅速成長:從一開始的換臉到變聲,直到如今以假亂真的 AI 短視頻泛濫,內容監督的技術與管理已經遠無法跟上現實的需求。
如果沒有行之有效的監管與審核,下一個伴隨著流量密碼誕生的 Olga,隻會更具煽動性且更難以辨別,且近在眼前。
(記者何暢對本文亦有貢獻)