極端主義組織已經開始嘗試使用人工智能，尤其是生成式人工智能，以制造大量新的宣傳品。專傢們現在擔心，這些組織越來越多地使用生成式人工智能工具，將推翻大科技公司近年來為阻止他們的內容進入互聯網所做的工作。
"我們最擔心的是，如果恐怖分子開始使用生成式人工智能大規模操縱圖像，這很可能會摧毀作為解決方案的哈希共享，"科技反恐組織（Tech Against Terrorism）執行董事亞當-哈德利（Adam Hadley）告訴《WIRED》。"這是一個巨大的風險。"
多年來，大科技平臺一直在努力創建已知暴力極端主義內容的數據庫，即所謂的哈希數據庫，這些數據庫在各平臺間共享，以快速、自動地從互聯網上刪除此類內容。但據哈德利稱，他的同事們現在每周都會發現大約 5000 例人工智能生成的內容。其中包括最近幾周由與真主黨和哈馬斯有關聯的組織分享的圖片，這些圖片似乎旨在影響圍繞以色列-哈馬斯戰爭的敘事。
哈德利說："再過六個月左右，[他們]操縱圖像來破解哈希算法的可能性確實令人擔憂。科技界在打造自動化技術方面做得如此出色，恐怖分子很可能會開始使用基因人工智能來規避已經完成的工作"。
科技反恐組織的研究人員最近幾個月發現的其他例子還包括：一個新納粹信息頻道分享人工智能生成的圖像，這些圖像是利用粘貼在Google遊戲商店的應用程序中的種族主義和反猶太主義提示制作的；極右翼人士制作一份"記憶戰爭指南"，建議其他人如何利用人工智能生成的圖像工具制作極端主義備忘錄； 伊斯蘭國"發佈一份關於如何安全使用人工智能生成工具的技術支持指南；一名親"伊斯蘭國"的存檔服務用戶聲稱使用基於人工智能的自動語音識別（ASR）系統來轉錄"伊斯蘭國"的阿拉伯語宣傳；以及一傢親"基地"組織的媒體發佈幾張海報，其中的圖片極有可能是使用人工智能生成平臺創建的。
除詳細介紹可以調整圖像的生成式人工智能工具所帶來的威脅之外，科技反恐組織還發表一份新報告，列舉基因人工智能工具可用於幫助極端組織的其他方式。其中包括使用自動翻譯工具，快速、輕松地將宣傳內容轉換成多種語言，或大規模創建個性化信息的能力，以促進在線招募工作。但哈德利認為，人工智能也提供一個機會，讓我們可以先於極端組織一步，利用技術先發制人。
哈德利說："我們將與微軟公司合作，研究是否有辦法利用我們的資料檔案創建一種基因人工智能檢測系統，以應對基因人工智能被大規模用於恐怖主義內容的新威脅。我們相信，基因人工智能可以用來抵禦對基因人工智能的敵對使用"。
今天，在克賴斯特徹奇呼籲領導人峰會（Christchurch Call Leaders' Summit）即將在巴黎舉行的前夕，宣佈這一合作關系。"克賴斯特徹奇呼籲領導人峰會"是旨在消除互聯網上的恐怖主義和極端主義內容的運動。
微軟公司副董事長兼總裁佈拉德-史密斯（Brad Smith）在一份聲明中說："利用數字平臺傳播暴力極端主義內容是一個具有現實後果的緊迫問題。通過將科技反恐的能力與人工智能相結合，我們希望能夠幫助創造一個在線和離線都更加安全的世界。"
雖然微軟、Google和 Facebook 等公司都有自己的人工智能研究部門，而且很可能已經在部署自己的資源來應對這一問題，但新倡議最終將幫助那些無法獨立應對這些問題的公司。
"這對於那些沒有自己的人工智能研究中心的小型平臺來說尤為重要，"哈德利說。"即使是現在，有散列數據庫，較小的平臺也可能會被這些內容淹沒。"
人工智能生成內容的威脅不僅限於極端組織。上個月，英國致力於消除互聯網上剝削兒童內容的非營利組織互聯網觀察基金會（Internet Watch Foundation）發佈一份報告，詳細描述暗網上人工智能工具創建的兒童性虐待材料（CSAM）日益增多的情況。
研究人員發現，在短短一個月的時間裡，有超過 2 萬張人工智能生成的圖片被張貼到一個暗網 CSAM 論壇上，其中有 11108 張圖片被 IWF 研究人員判定為最有可能犯罪的圖片。正如 IWF 研究人員在報告中寫道："這些人工智能圖像可以如此令人信服，以至於無法與真實圖像區分開來"。