AI成謊言制造機 資本湧向打假科技


過去幾個月掀起AI小高潮,先是OpenAI的大模型GPT-4公佈,多傢測評表示比ChatGPT準確許多,學習速度也更快;隨後不久ChatGPT宣佈將實現對插件的支持,表示它可以通過第三方服務為用戶提供更強大的功能。

這些消息讓全網興奮不已,將AI的聰慧捧上神壇之時,AI卻也在悄悄展露自己的另外一個黑暗面,那就是它撒謊不打草稿的能力。

01.生成式AI:謊言制造機

我們都知道,AI的強大之處在於能夠快速收集來自各種源頭的信息並根據用戶的特殊指令“見機行事”,這就說明即使是非常荒謬和片面的信息也可能被借AI之口說出,謠言就這樣因其表述的合理性和完整度被大眾接受和傳播。

新聞評級網站Newsguard最近進行一項嘗試,他們讓ChatGPT以反新冠疫苗者的口吻進行對話,結果AI生成一段看似非常合理的言論,“有理有據”的講述疫苗制藥公司如何不擇手段,甚至對兒童健康產生極大負面影響他們也不在乎。

這樣的技術落到造謠者手中,就會有許多無知大眾上當受騙。


ChatGPT anti vaccine

不僅是文字,AI在圖片和視頻上造假的功力也得。

川普被捕的一系列假照片在網上被瘋狂轉載,這些用AI工具MidJourney創造出的圖片十分以假亂真,即使某些細節並不合理 - 比如圖中的川普有三條腿,還是不妨礙網友們大肆轉發並信以為真。


Trump arrested pic

而視頻因其復雜性常常給人難以偽造的假象,殊不知隻要在圖片的基礎上稍加技能視頻造假也並沒那麼難。

Deepfake技術的出現更是讓這件事變得十分簡單,像是馬斯克為加密貨幣交易平臺打廣告、拜登和奧巴馬打遊戲、假阿湯哥打高爾夫球和變魔術、還有無數女明星被換臉進色情片都是deepfake的產物,除鑒偽專傢,普通人實在難以分辨真假。


Obama playing video game


deepfake tom cruise

AI作出滑稽的梗圖或許可以博網友一笑,但虛假信息在某些場景下的負面影響卻是致命的。

2020年“犯罪科學”的一項報告顯示,在未來15年內AI可能創造出的安全威脅中,深度偽造被列為最嚴重的一項,而哈裡斯民調機構的調查也顯示,美國有67%的成年人對生成式人工智能技術的安全性倍感擔憂,隻有約29%的被調查者表示從未用過這項技術也並不打算使用。

02.打假AI:沒那麼簡單

目前許多AI技術的開發者都相信這一問題需要“以毒攻毒”,科技創造出的麻煩要科技去破局,在這一點上,科技大廠們已經在行動:

Google早在2019年就發佈一個大型開源數據庫,招募演員錄制視頻後利用網上現有的deepfake技術進行偽造,最終生成的視頻數據可以幫助打假技術的開發者更好學習deepfake的算法和邏輯。今年Google還在歐洲地區開始用付費廣告進行對反信謠和鑒別虛假信息的大型宣傳。


Google deep fake database

微軟在去年推出一個叫做“Video Aunthenticator”的工具,它能夠對畫面中渲染邊界和灰度等級進行逐幀的實時分析進而生成可靠指數,以此來幫助用戶鑒別內容的真實性。

Microsoft Video Aunthenticator

Microsoft Video Aunthenticator

Meta此前也推出過和Google類似的開源數據庫,還和微軟及MIT、牛津、UC伯克利等高校聯合發起提供1000萬美元獎金激勵的挑戰賽,鼓勵更多檢測虛假信息和深度偽造技術的創新。

Twitter會對經常發佈deepfake和虛假信息的賬號進行封殺,還會將比較可疑的內容打上標簽,並且在用戶轉發這類內容時還會進行“確定要轉發嗎?”的提問。


Twitter manipulated media

TikTok最新推出的社群規范規定使用真實場景進行合成的內容必須被明確指出, 這就說明所有以生成合成式AI創造出的內容必須在標題或者tag中使用“合成”“虛假”等詞匯。

雖然科技巨頭們在技術和預防上都在努力,但虛假和偽造信息似乎並沒有減少。

打擊虛假和偽造信息難度之大有很多原因,比如首先需要對什麼是虛假信息進行一個準確的定義,在這點上許多平臺並做不到,因為虛假信息並不是在每個場景下都可以被簡單甄別,而當虛假信息被用多種語言傳播到世界各地,難度就更大。

同時很多時候信息本身並不是謊言也不是被偽造出的內容,而發佈和傳播者隻是巧妙地用隨意選取的方式來誤導網民,這類內容尤其難跟虛假信息進行分別。

再有,對社交媒體等平臺來說,擊打虛假信息從來都不是他們商業目標的重中之重,當一件事隻是為符合規范卻並不能帶來利潤,顯然微薄的動力致使打假的腳步走的異常緩慢。

正因如此,許多人將眼光和希望放在一批正在將精力全部放在開發鑒別虛假信息技術的初創公司身上。

03.資本湧向打假初創公司

投資者的資本也伴隨著大眾迫切的希望湧向這些初創公司,在過去幾年間,數億美元被投資進這一賽道。


Disinformation And Misinformation Mitigators

孵化於矽谷加速器Nex Cubed的 Blackbird 已經開發出一套成熟的鑒偽技術,因在擊破新冠謠言方面表現出色而開始被知曉,它的專利算法技術可以通過即時對上億個數據點的分析搞清楚虛假信息的源頭和傳播者。

這一技術使用五項“風險信號”來對虛假信息進行甄別,包括“敘事口吻”- 對信息和對話背景進行分析;“社群網絡”- 對用戶及分享內容之間關系進行分析;“族群”- 對有類似興趣的用戶是否聚集加劇信息分享的幅度進行分析;“操縱”- 對信息的合理使用進行分析;以及“欺騙” - 分析傳統意義上比較明確的真與假。


Blackbird CONSTELLATION DASHBOARD

Blackbird還在今年推出一個叫做RAV3N Copilot的AI助手,通過使用生成式AI來制作敘事性智能和風險報告,為虛假信息安全隱患提供更多的背景分析,以此幫助安全部門進行更加高效和自動化的監控和分析。

Blackbird目前融資總額為1000萬美元,服務領域涉及品牌、金融、企業及公共部門等等,客戶包括美國國防部及多個Fortune 500公司。

背景分析在鑒別虛假信息這件事上十分重要,因為不同場景的信息使用可能會導致真或偽的天壤之別,因其人工智能和自然語言處理(NLP)防偽技術而知名的舊金山公司Primer最近就對背景智能技術公司 Yonder 進行收購。

Primer的神經網絡技術可以快速對大量文本進行掃描,根據詞語的頻率和重點提取主題,快速識別可疑信息,這樣以來可以對全球事件進行即時分析,識別用虛假信息進行的大型宣傳,對網絡安全攻擊事件進行反擊等等。 它的NLP模型結合上Yonder的背景敘事智能分析能力,讓用戶甚至能夠預防性的監控即將出現的虛假信息,快速識別謠言背後的造謠者,分析潛在風險等級,以及對受到虛假信息傷害的品牌和行動用系統提供的建議減小損傷程度。

Primer如今已經完成1.68億美元融資,最大投資包括來自Lux Capital的4000萬美元B輪和來自Addition的1.1億美元C輪。

在紐約和特拉維夫都有團隊的 ActiveFence 也是獲得這一賽道最多融資的公司之一,融資總額達到1億美元,包括來自Grove Ventures和Norwest Venture Partners的A輪,以及CRV和Highland Europe的B輪。

ActiveFence的技術使用NLP對全網正在進行的對話進行搜索,即使是網絡最深處的角落也可以觸及,然後通過對“壞種子”式信息的預判進行風險分析,這就意味著它可以預估一段看似無害的對話是否會被造謠者惡意使用,導致更加深遠的惡性影響,這種前瞻性對於虛假信息的預防來說格外關鍵,ActiveFence的主要客戶包括社交媒體、音頻及視頻流媒體、文件分享平臺和遊戲平臺等,覆蓋用戶總數達到10億+。

DeepMedia 可以說是一傢提供“雙管齊下”業務的公司,最初的主營生意是開發出可以通過翻譯、語音合成和配音等技術讓用戶看起來能說多種語言的工具DubSync,而在這項服務成功被接受後目前研究起如何監測合成音頻和視頻的技術,它對其監測工具的訓練方式就是通過用自傢的合成工具不斷生成deepfake,然後考驗監測系統是否能夠察覺。

創始人Gupta表示現有的像是DeeperForensics和FaceForensics等大型數據庫在合成時往往帶有強烈的偏見,因此訓練出的技術在監測上也有盲點,而DeepMedia的競爭優勢在於它所使用的deepfake數據庫質量更高,對於網絡上現有的deepfake內容的代表性也更強。

這一AI監測工具在預先處理和正式分析方面都十分強大,比如它要想驗證一個視頻中的阿湯哥是否是真的,首先模型需要對視頻中人物的臉部特征進行提取並分析,然後從背景音中提取出人物的真聲,接下來這些信息會在一系列的分類器中被檢驗, 最後整體的內容還要被卷積神經網絡刷一遍看看生成deepfake的算法是否被使用。


DeepMedia detection

DeepMedia還開始使用基於視覺的圖像分類模型,Google就是用這種模型來進行搜索結果提取的,這樣的模型比傳統卷積神經網絡訓練速度要快上10倍。DeepMedia的這一監測業務已經和美國空軍下屬的實驗室達成合作,目前準確率達到95%,會在99%的時候在市面上公開發佈。

大廠也好,初創公司也好,他們為打假科技研發所作出的努力至關重要。

在未來的5到10年內,AI技術的發展將更快,這也就意味著AI在“撒謊”這件事上會更加聰明,僅靠網友們的人工鑒別肯定是不夠的。

許多deepfake賽道的創始人呼籲各國政府的參與也至關重要,比如設立跨國界的對於虛假信息界定和幹預的規范條例,比如撥款用於這一類危機的教育和研究等等。

如果AI有善和惡之分的話,那麼未來幾年在虛假信息這方面可以說是AI自身善與惡的一場賽跑,雖然科技不是唯一的答案,但希望我們眾志成城的打假行動能夠為我們爭取一些時間。


相關推薦

2023-02-10

業務和ChatGPT的關系。2月2日,電子安防與光通信智能設備制造商英飛拓在互動平臺上表示,該公司並未涉及ChatGPT相關業務,目前專註於智慧城市、智慧園區解決方案的建設、運營服務;同樣立足智慧城市投資、建設和綜合運營

2022-08-25

掌,微笑恰到好處。原標題:圖森們的“並購式”跑路與謊言一切都好像是真的。然而,直到現在,沒有一輛卡車真正以全無人姿態跑過商單。物流產業也明白,商業可以互吹,但不敢胡來。封閉的高速路端,自動打轉兒的方向

2024-03-26

口道的“我想你”的奶奶,“在下散財”隻能編出另一個謊言,來圓上之前撒的謊——“奶奶,那醫院都是大型設備,身上不能有鐵的,電話啥的都不能拿。”一個個的連環謊言,總有被扯破的那一天。在謊言破滅的時候,即使

2024-03-26

口道的“我想你”的奶奶,“在下散財”隻能編出另一個謊言,來圓上之前撒的謊——“奶奶,那醫院都是大型設備,身上不能有鐵的,電話啥的都不能拿。”一個個的連環謊言,總有被扯破的那一天。在謊言破滅的時候,即使

2024-03-26

口道的“我想你”的奶奶,“在下散財”隻能編出另一個謊言,來圓上之前撒的謊——“奶奶,那醫院都是大型設備,身上不能有鐵的,電話啥的都不能拿。”一個個的連環謊言,總有被扯破的那一天。在謊言破滅的時候,即使

2024-03-26

口道的“我想你”的奶奶,“在下散財”隻能編出另一個謊言,來圓上之前撒的謊——“奶奶,那醫院都是大型設備,身上不能有鐵的,電話啥的都不能拿。”一個個的連環謊言,總有被扯破的那一天。在謊言破滅的時候,即使

2024-02-22

產定制芯片(即專用集成芯片(ASIC))的無晶圓廠芯片制造商 Alchip Technologies(世芯電子) 就是中國脫鉤趨勢的典型代表。一位知情人士說,2022 年,Alchip 的大部分研發工程師都在中國,但現在 Alchip 已經開始向海外轉移工作崗

2022-07-27

神正常的科學傢不會願意費時費力的對尹燁大量的錯誤和謊言進行具體的分析,但若這樣做,便像是傳統比喻的“人咬狗”,會成為新聞。文中還有一段對華大基因職工的隔空諫言,認為講誠信的企業應該勸尹燁的上級開除他,

2023-11-11

利益為核心,在傢族和用戶之間建立信任關系,進而完成資本擴張與變現的過程。而小楊哥也正在亦步亦趨,企圖在抖音完成辛巴式的擴張和變現。02.和辛巴一樣,小楊哥的風格吸引一些人關註和喜歡的同時,也同樣引起一些人

2022-08-11

具體指出科學基礎差的人所犯的大量錯誤和其編造的大量謊言。”接著7月25日,他在《陳春花和尹燁:相隔二十年競賽誰的博士更“水”?》一文中又從質疑尹燁的科普身份延伸到其博士學位。“如果是不用上課的博士,那麼尹

2022-11-17

品存在質量問題受到質疑,引起網友熱議。前不久,職業打假人王海發佈打假視頻,稱瘋狂小楊哥”在其直播間售賣的破壁機和絞肉機的標註功率和實際功率不符合,其中破壁機還存在冒用3C認證等情況。王海稱,涉事企業未給

2024-11-10

快科技11月10日消息,據媒體報道,近日打假人王海連續發聲,對董宇輝所售賣的澳門葡記月餅、紅薯粉條、有機土豆等7款產品提出質疑,質疑頻率之高,引發公眾對王海打假動機的討論。在接受《字母榜》采訪時,王海回應為

2022-08-20

。隨著摩爾定律磕磕絆絆走到盡頭,最後留給我們的唯有謊言、該死的謊言以及那些毫無意義的節點名。芯智訊點評:關於制程工藝節點的數字遊戲早在多年前就已經開始。原本半導體產業界一直遵循著每一個大的代際的制程節

2024-04-17

傢人工智能初創公司宣佈獲得融資,比 2022 年增長 40.6%。資本密集的模型遊戲結束發生什麼?Gartner 分析師 John-David Lovelock 表示,他認為隨著 Anthropic、OpenAI等第一梯隊的玩傢占據主導地位,AI投資范圍正在“向外延展”(spreading