NIST 推出評估生成式人工智能的新平臺


美國商務部負責為美國政府、公司和廣大公眾開發和測試技術的機構--國傢標準與技術研究院(NIST)周一宣佈啟動NISTGenAI,這是一個由NIST牽頭的新項目,旨在評估生成式人工智能技術,包括文本和圖像生成人工智能。

Schedule.webp

NIST 在新推出的 NIST GenAI網站和一份新聞稿中解釋說,NISTGenAI將發佈基準,幫助創建"內容真實性"檢測(即深度驗假)系統,並鼓勵開發軟件來識別人工智能生成的虛假或誤導性信息的來源。"NIST GenAI 計劃將發佈一系列挑戰問題,[旨在]評估和衡量生成式人工智能技術的能力和局限性。這些評估將用於確定促進信息完整性的策略,並指導安全、負責任地使用數字內容"。

NIST GenAI 的第一個項目是一項試點研究,目的是建立能夠可靠區分人類創建的媒體和人工智能生成的媒體的系統,首先從文本開始。(雖然許多服務都聲稱可以檢測深度偽造,但研究和測試表明,它們充其量隻能說是不可靠的,尤其是在文本方面)。NIST GenAI 邀請學術界、工業界和研究實驗室的團隊提交"生成器"(生成內容的人工智能系統)或"鑒別器"(旨在識別人工智能生成內容的系統)。

研究中的生成器必須生成 250 字或更少的摘要,提供一個主題和一組文檔,而判別器必須檢測給定摘要是否可能是人工智能編寫的。為確保公平,NIST GenAI 將提供測試生成器所需的數據。NIST 表示:"以公開數據訓練的系統如果不"遵守適用的法律法規",將不被接受。

試點登記將於 5 月 1 日開始,第一輪兩傢計劃於 8 月 2 日結束。 預計研究的最終結果將於 2025 年 2 月公佈。

在人工智能生成的錯誤信息和虛假信息呈指數級增長之際,NIST GenAI 啟動以深度偽造為重點的研究。

根據深度假貨檢測公司Clarity 的數據,與去年同期相比,今年制作和發佈的深度假貨數量增加 900%。這引起人們的恐慌,這是可以理解的。 YouGov 最近的 一項民意調查 發現,85% 的美國人擔心誤導性的深度假新聞會在網上傳播。

NIST GenAI 的啟動是 NIST 響應喬-拜登總統關於人工智能的行政命令的一部分,拜登總統的行政命令規定,要求人工智能公司在其模型如何工作方面提高透明度,並制定一系列新標準,包括對人工智能生成的內容進行標註。

這也是 NIST 在任命前 OpenAI 研究員保羅-克裡斯蒂亞諾(Paul Christiano)為該機構的人工智能安全研究所成員後,首次發佈與人工智能相關的消息。

克裡斯蒂亞諾因其"現實主義"觀點而備受爭議;他曾預言,"人工智能的發展有50%的可能以[人類毀滅]而告終"。據報道,包括美國國傢標準與技術研究院(NIST)科學傢在內的批評人士擔心,克裡斯蒂亞諾可能會鼓勵人工智能安全研究所關註"幻想的場景",而不是現實的、更直接的人工智能風險。

NIST 表示,NIST GenAI 將為人工智能安全研究所的工作提供參考。


相關推薦

2024-05-12

英國安全研究所(U.K.SafetyInstitute)是英國最近成立的人工智能安全機構,該機構發佈一個工具集,旨在"加強人工智能安全",使工業界、研究機構和學術界更容易開展人工智能評估。該工具集名為Inspect,采用

2024-03-19

被稱為“傑森·索爾”(Jetson Thor),基於英偉達的一款人工智能芯片和其他硬件。該公司表示,這臺計算機將為機器人提供足夠的計算能力,以執行復雜的任務,並與人和機器互動。英偉達表示,這套軟件工具被稱為“艾薩克

2022-08-18

盡管普通消費者對聯發科的智能手機芯片組要更加熟悉一些,但這傢芯片巨頭也有在積極構建適用於5G路由器和移動熱點的新平臺。由周四上午的官方新聞稿可知:全新發佈的T8305G平臺采用4nm制程,具有高度集成式設計、擁有高

2024-04-17

HuggingFace、MariaDB、Cloudera等行業利益相關者共同發起企業人工智能開放平臺(OPEA),作為一項新的企業人工智能合作努力。在今天發佈的企業人工智能開放平臺公告中,該平臺被解釋為:"這項開創性的倡議聯合行業領導者,

2023-10-30

署一項行政命令,在立法者出臺任何立法之前,就生成式人工智能(GenerativeAI)制定相關規則。該命令有八個目標:為人工智能的安全和安保制定新標準,保護隱私,促進公平和公民權利,協助消費者、患者和學生,支持工人,

2024-05-07

計劃,即其照片應用程序的新版本,該版本將利用生成式人工智能為普通消費者提供Photoshop級的編輯功能。周一早些時候,蘋果公司網站上宣傳周二活動的徽標突然變成交互式的,用戶可以用鼠標擦除部分或全部徽標。雖然這最

2024-03-15

正式的信息請求(RFI),詢問它們如何處理與使用生成式人工智能相關的風險。這些要求涉及必應(Bing)、Facebook、Google搜索、Instagram、Snapchat、TikTok、YouTube 和 X。根據規定,這八個平臺被指定為超大型在線平臺(VLOPs),這意

2023-08-10

USD……而英偉達也借此將過去這數十年的所有創新,比如人工智能、虛擬世界、加速、模擬、協作等等,全部融合到一起。在這個時代裡,或許正如老黃的經典名言:“買得越多,省得越多!”英偉達最強AI超算再升級在5年前的

2023-11-30

亞馬遜希望用戶能更好地評估人工智能模型,並鼓勵更多人類參與到這一過程中來。在AWSre:Invent大會上,AWS數據庫、分析和機器學習副總裁SwamiSivasubramanian宣佈Bedrock上的模型評估(ModelEvaluationonBedrock)功能,該功能現已推出預覽

2022-08-03

提供一個可顯著消除瓶頸的高性價比平臺。● 顛覆性的人工智能(AI):X1 SSD 使新一代 AI 能夠提供洞察力,並生成可用於各類重要行業研究(包括醫療保健、教育、科學等)的自適應模型數據。● 超大規模數據中心(Hyperscale D

2024-04-19

Meta發佈開源生成式人工智能模型Llama系列的最新產品:Llama3。或者,更準確地說,該公司已經開源新的Llama3系列中的兩個模型,其餘模型將在未來某個不確定的日期推出。Meta 稱,與上一代 Llama 模型 Llama 2 8B 和 Llama 2 70B 相比,

2023-11-17

風險。站長之傢(ChinaZ.com) 11月17日 消息:谷歌研究團隊在人工智能領域持續推動著對生成式AI(GenAI)安全的研究,以應對其在虛假信息、偏見和安全性方面帶來的挑戰。作為谷歌研究的一部分,負責構建負責任的AI和數據系統的Re

2023-03-10

3月10日消息,據外媒報道,隨著ChatGPT人工智能聊天機器人的大熱,未能在這一領域占得先機的公司,部分在加速相關技術的開發和應用,也有部分公司在審視他們在人工智能方面的開發策略。最新的報道就顯示,在ChatGPT的推動

2024-06-15

量以及其在各領域的應用潛力,可以說大模型是至今為止人工智能發展最成功的一個技術方向。想請問兩位,是什麼原因使得大模型如此成功?還有哪些欠缺的地方需要進一步發展?李開復:AI 2.0是有史以來最偉大的科技革命和