美國商務部負責為美國政府、公司和廣大公眾開發和測試技術的機構--國傢標準與技術研究院(NIST)周一宣佈啟動NISTGenAI,這是一個由NIST牽頭的新項目,旨在評估生成式人工智能技術,包括文本和圖像生成人工智能。
NIST 在新推出的 NIST GenAI網站和一份新聞稿中解釋說,NISTGenAI將發佈基準,幫助創建"內容真實性"檢測(即深度驗假)系統,並鼓勵開發軟件來識別人工智能生成的虛假或誤導性信息的來源。"NIST GenAI 計劃將發佈一系列挑戰問題,[旨在]評估和衡量生成式人工智能技術的能力和局限性。這些評估將用於確定促進信息完整性的策略,並指導安全、負責任地使用數字內容"。
NIST GenAI 的第一個項目是一項試點研究,目的是建立能夠可靠區分人類創建的媒體和人工智能生成的媒體的系統,首先從文本開始。(雖然許多服務都聲稱可以檢測深度偽造,但研究和測試表明,它們充其量隻能說是不可靠的,尤其是在文本方面)。NIST GenAI 邀請學術界、工業界和研究實驗室的團隊提交"生成器"(生成內容的人工智能系統)或"鑒別器"(旨在識別人工智能生成內容的系統)。
研究中的生成器必須生成 250 字或更少的摘要,提供一個主題和一組文檔,而判別器必須檢測給定摘要是否可能是人工智能編寫的。為確保公平,NIST GenAI 將提供測試生成器所需的數據。NIST 表示:"以公開數據訓練的系統如果不"遵守適用的法律法規",將不被接受。
試點登記將於 5 月 1 日開始,第一輪兩傢計劃於 8 月 2 日結束。 預計研究的最終結果將於 2025 年 2 月公佈。
在人工智能生成的錯誤信息和虛假信息呈指數級增長之際,NIST GenAI 啟動以深度偽造為重點的研究。
根據深度假貨檢測公司Clarity 的數據,與去年同期相比,今年制作和發佈的深度假貨數量增加 900%。這引起人們的恐慌,這是可以理解的。 YouGov 最近的 一項民意調查 發現,85% 的美國人擔心誤導性的深度假新聞會在網上傳播。
NIST GenAI 的啟動是 NIST 響應喬-拜登總統關於人工智能的行政命令的一部分,拜登總統的行政命令規定,要求人工智能公司在其模型如何工作方面提高透明度,並制定一系列新標準,包括對人工智能生成的內容進行標註。
這也是 NIST 在任命前 OpenAI 研究員保羅-克裡斯蒂亞諾(Paul Christiano)為該機構的人工智能安全研究所成員後,首次發佈與人工智能相關的消息。
克裡斯蒂亞諾因其"現實主義"觀點而備受爭議;他曾預言,"人工智能的發展有50%的可能以[人類毀滅]而告終"。據報道,包括美國國傢標準與技術研究院(NIST)科學傢在內的批評人士擔心,克裡斯蒂亞諾可能會鼓勵人工智能安全研究所關註"幻想的場景",而不是現實的、更直接的人工智能風險。
NIST 表示,NIST GenAI 將為人工智能安全研究所的工作提供參考。