英國安全研究所發佈人工智能模型安全性測試工具


英國安全研究所(U.K.SafetyInstitute)是英國最近成立的人工智能安全機構,該機構發佈一個工具集,旨在"加強人工智能安全",使工業界、研究機構和學術界更容易開展人工智能評估。該工具集名為Inspect,采用開源許可(特別是MIT許可),旨在評估人工智能模型的某些能力,包括模型的核心知識和推理能力,並根據結果生成評分。

inspect_691f79.webp

在周五宣佈這一消息的新聞稿中,安全研究所聲稱,Inspect 標志著"由國傢支持的機構主導的人工智能安全測試平臺首次被廣泛使用"。

安全研究所主席伊恩-霍加斯(Ian Hogarth)在一份聲明中說:"人工智能安全測試方面的成功合作意味著要有一個共享的、可訪問的評估方法,我們希望Inspect能夠成為一個基石。我們希望看到全球人工智能社區利用Inspect不僅開展自己的模型安全性測試,而且幫助調整和構建開源平臺,以便我們能夠全面開展高質量的評估。"

眾所周知,人工智能基準很難制定--其中最重要的原因是,當今最復雜的人工智能模型幾乎都是黑盒,其基礎設施、訓練數據和其他關鍵細節都被創建這些模型的公司保密。那麼,Inspect 如何應對這一挑戰呢?主要是通過可擴展的新測試技術。

圖片.png

Inspect 由三個基本部分組成:數據集、求解器和評分器。數據集為評估測試提供樣本。求解器負責執行測試。評分器負責評估求解器的工作,並將測試得分匯總為指標。可以通過用 Python 編寫的第三方軟件包來增強 Inspect 的內置組件。

Mozilla 研究員、著名人工智能倫理學傢德博拉-拉吉(Deborah Raj)在 X 上發表一篇文章,稱 Inspect "證明對人工智能問責開源工具的公共投資的力量"。

圖片.png

人工智能初創公司Hugging Face的首席執行官克萊門特-德朗格(Clément Delangue)提出將Inspect與Hugging Face的模型庫整合在一起,或利用工具集的評估結果創建一個公共排行榜的想法。

Inspect 發佈之前,美國政府機構--國傢標準與技術研究院(NIST)啟動NIST GenAI,該計劃旨在評估各種生成式人工智能技術,包括文本和圖像生成人工智能。NIST GenAI 計劃發佈基準,幫助創建內容真實性檢測系統,並鼓勵開發能識別虛假或誤導性人工智能生成信息的軟件。

今年 4 月,美國和英國宣佈建立合作夥伴關系,共同開發先進的人工智能模型測試,這是繼去年 11 月英國在佈萊切利公園舉行的人工智能安全峰會上宣佈承諾之後的又一合作。作為合作的一部分,美國打算成立自己的人工智能安全研究所,廣泛負責評估人工智能和生成式人工智能的風險。


相關推薦

2024-04-03

美國和英國同意合作監控先進人工智能模型的安全風險。將合作開展研究,並至少進行一次聯合安全測試。兩國都表示,在使用人工智能模型時,安全是首要關註的問題。美國總統喬-拜登關於人工智能的行政命令要求開發人工

2023-11-03

當地時間11月1日,英國主辦的首屆全球人工智能(AI)安全峰會在英國佈萊切利公園拉開帷幕。峰會第一天,包括中國、美國、英國在內的28個國傢及歐盟共同簽署《佈萊切利宣言》,承諾以安全、以人為本、值得信賴和負責任

2023-11-06

本周三和周四,來自全球27個國傢政府的代表以及頂級人工智能公司的負責人齊聚倫敦附近的佈萊切利公園,參加全球首次人工智能安全峰會。與會者包括美國和中國政府代表、埃隆-馬斯克(ElonMusk)和OpenAI首席執行官山姆-奧特

2023-10-27

英國首相蘇納克(RishiSunak)宣佈計劃成立首個人工智能安全研究所。今天早些時候,微軟、Google、OpenAI和Anthropic宣佈為前沿模型論壇提供1000萬美元的基金,以確保安全、負責任地開發生成式人工智能。蘇納克於2023年5月會見人

2023-04-17

魯·懷特(AndrewWhite)獲得GPT-4的使用權之後,他使用這一人工智能系統提出一種全新的神經毒劑。GPT-4是熱門聊天機器人ChatGPT背後的人工智能技術。作為羅切斯特大學的化學工程教授,懷特是OpenAI去年聘請的50名專傢學者之一。

2023-04-14

北京時間4月14日消息,埃隆·馬斯克(ElonMusk)曾放言,人工智能(AI)比核武器還要危險。為降低ChatGPT的危險性,OpenAI建立一支“紅隊”。“紅隊”是AI領域的一個術語,指的是進行滲透測試的攻擊方。“紅隊”發起攻擊,AI進行防守

2024-04-04

在制定戰略以應對強大的人工智能技術所帶來的挑戰和機遇方面,大西洋兩岸的立法者之間的合作在不斷加強。歐盟和美國預計將在周五舉行的歐盟-美國貿易與技術理事會(TTC)會議上宣佈在人工智能領域開展合作。TTC是幾年

2023-11-17

風險。站長之傢(ChinaZ.com) 11月17日 消息:谷歌研究團隊在人工智能領域持續推動著對生成式AI(GenAI)安全的研究,以應對其在虛假信息、偏見和安全性方面帶來的挑戰。作為谷歌研究的一部分,負責構建負責任的AI和數據系統的Re

2023-04-06

在努力確保在各個系統層面上的安全性。打造更加安全的人工智能系統在推出任何新的人工智能系統之前,我們都會進行嚴格的測試,征求外部專傢的意見,並通過人工反饋的強化學習等技術來改善模型的表現。同時,我們還建

2024-04-22

香檳分校的助理教授,主要研究機器學習分析、機器學習安全和密碼學。網友:是不是誇張?這項研究發佈後,網友們也展開一系列討論。有人覺得這有點危言聳聽。有人說自己有過類似成功的經驗,隻需要給GPT-4和Claude一個shel

2023-04-17

4月17日消息,人工智能初創企業OpenAI在發佈大型語言模型GPT-4之前,雇傭各行各業的專傢組成“藍軍”團隊,對模型可能會出現哪些問題進行“對抗性測試”。專傢們提出各種探索性或危險問題,測試人工智能如何進行回應;Open

2024-05-02

院提出一項新法案,要求建立一個數據庫,記錄所有違反人工智能系統的行為,從而追蹤安全問題。由參議員馬克-華納(MarkWarner)和托姆-蒂利斯(ThomTillis)提出的《人工智能安全法案》將在美國國傢安全局建立人工智能安全

2023-11-02

府周三表示,將投資2.25億英鎊(合2.73億美元)研發一臺人工智能(AI)超級計算機,凸顯出英國在追趕美國等技術強國、成為該技術領域“領頭羊”的雄心。據悉,佈裡斯托爾大學將建造這臺名為Isambard-ai的超級計算機,以19世

2024-02-25

是Google DeepMind作為人類最前沿的AI機構,依然在抵達通用人工智能的道路上緊追OpenAI。最近,WIRED對DeepMind的負責人Hassabis進行專訪,聊很多關於最近發佈的產品,以及未來人工智能發展技術道路的問題,幹貨滿滿。在他看來,未