20步內越獄任意大模型 更多“奶奶漏洞”全自動發現


1分鐘不到、20步以內“越獄”任意大模型,繞過安全限制!而且不必知道模型內部細節——隻需要兩個黑盒模型互動,就能讓AI全自動攻陷AI,說出危險內容。聽說曾經紅極一時的“奶奶漏洞”已經被修復:



那麼現在搬出“偵探漏洞”、“冒險傢漏洞”、“作傢漏洞”,AI又該如何應對?


一波猛攻下來,GPT-4也遭不住,直接說出要給供水系統投毒隻要……這樣那樣。

關鍵這隻是賓夕法尼亞大學研究團隊曬出的一小波漏洞,而用上他們最新開發的算法,AI可以自動生成各種攻擊提示。

研究人員表示,這種方法相比於現有的GCG等基於token的攻擊方法,效率提高5個量級。而且生成的攻擊可解釋性強,誰都能看懂,還能遷移到其它模型。

無論是開源模型還是閉源模型,GPT-3.5、GPT-4、 Vicuna(Llama 2變種)、PaLM-2等,一個都跑不掉。

成功率可達60-100%,拿下新SOTA。

話說,這種對話模式好像有些似曾相識。多年前的初代AI,20個問題之內就能破解人類腦中想的是什麼對象。

如今輪到AI來破解AI。


讓大模型集體越獄

目前主流越獄攻擊方法有兩類,一種是提示級攻擊,一般需要人工策劃,而且不可擴展;

另一種是基於token的攻擊,有的需要超十萬次對話,且需要訪問模型內部,還包含“亂碼”不可解釋。


左提示攻擊,右token攻擊

賓夕法尼亞大學研究團隊提出一種叫PAIR(Prompt Automatic Iterative Refinement)的算法,不需要任何人工參與,是一種全自動提示攻擊方法。


PAIR涉及四個主要步驟:攻擊生成、目標響應、越獄評分和迭代細化;主要用到兩個黑盒模型:攻擊模型、目標模型。

具體來說,攻擊模型需要自動生成語義級別的提示,來攻破目標模型的安全防線,迫使其生成有害內容。

核心思路是讓兩個模型相互對抗、你來我往地交流。

攻擊模型會自動生成一個候選提示,然後輸入到目標模型中,得到目標模型的回復。

如果這次回復沒有成功攻破目標模型,那麼攻擊模型會分析這次失敗的原因,改進並生成一個新的提示,再輸入到目標模型中。


這樣持續交流多輪,攻擊模型每次根據上一次的結果來迭代優化提示,直到生成一個成功的提示將目標模型攻破。

此外,迭代過程還可以並行,也就是可以同時運行多個對話,從而產生多個候選越獄提示,進一步提高效率。

研究人員表示,由於兩個模型都是黑盒模型,所以攻擊者和目標對象可以用各種語言模型自由組合。

PAIR不需要知道它們內部的具體結構和參數,隻需要API即可,因此適用范圍非常廣。

GPT-4也沒能逃過

實驗階段,研究人員在有害行為數據集AdvBench中選出一個具有代表性的、包含50個不同類型任務的測試集,在多種開源和閉源大語言模型上測試PAIR算法。

結果PAIR算法讓Vicuna越獄成功率達到100%,平均不到12步就能攻破。


閉源模型中,GPT-3.5和GPT-4越獄成功率在60%左右,平均用不到20步。在PaLM-2上成功率達到72%,步數約為15步。

但是PAIR在Llama-2和Claude上的效果較差,研究人員認為這可能是因為這些模型在安全防禦上做更為嚴格的微調。

他們還比較不同目標模型的可轉移性。結果顯示,PAIR的GPT-4提示在Vicuna和PaLM-2上轉移效果較好。


研究人員認為,PAIR生成的語義攻擊更能暴露語言模型固有的安全缺陷,而現有的安全措施更側重防禦基於token的攻擊。

就比如開發出GCG算法的團隊,將研究結果分享給OpenAI、Anthropic和Google等大模型廠商後,相關模型修復token級攻擊漏洞。


相關推薦

2024-04-03

洞。經過256輪對話後,Claude2逐漸被“灌醉”,開始瘋狂越獄,幫人類造出炸彈!誰能想到,它的超長上下文,反而成軟肋。大模型又被曝出安全問題?這次是長上下文窗口的鍋!今天,Anthropic發表自己的最新研究:如何繞過LLM

2023-01-06

自動駕駛迭代速度實現量級提升。過去一年,我們看到國內越來越多的自動駕駛公司,正在將Transformer大模型應用到自動駕駛算法當中。作為最早投入研究和應用的公司,毫末發現隨著大模型的引入,使得自動駕駛在數據合成、

2022-09-13

生物科技股份有限公司方面透露,當前,該公司還在開發更多核酸檢測一體機可搭載檢測項目,致力於減少病人檢查多頭跑、等待時間長的難題,為分子診斷領域作出更多貢獻。

2023-03-27

進行大量測試後產生懷疑,認為其可能隻是一個套殼的AI模型,先將用戶的中文指令翻譯成英文,然後用國外開源的AI模型生成作品。百度方面針對此回應表示,文心一言完全是百度自研的大語言模型,文生圖能力來自文心跨模

2022-08-25

、iPad和iPodTouch設備將無法降級到iOS/iPadOS15.6。這對於等待越獄工具的用戶來說會有直接影響。iOS 15.6.1 於 8 月 17 日發佈,帶來大量的 BUG 修復和性能優化。本次更新中蘋果還修復兩個高危的安全漏洞,這兩個漏洞都可以在沒有用

2023-03-28

-4是人類迄今所實現的最復雜的軟件如何看待大傢拿ChatGPT越獄……在看過這場對話之後,網友直呼:兩位AI大佬用大傢都能理解的方式聊AI,多來點這樣的訪談。那麼接下來,我們就來一同看下他們這場深度對話。GPT-4內幕大曝光

2023-03-20

人類提供開發文檔,在30分鐘就擬定出一個完整的“外逃越獄”計劃。GPT-4自研“外逃”路徑3月14日,美國人工智能研究實驗室OpenAI為聊天機器人ChatGPT發佈GPT-4語言模型。3月15日,微軟副總裁兼消費者首席營銷官Yusuf Mehdi發文確認

2024-03-09

重要。到目前為止,每個大型模型都在某種程度上是‘可越獄的’。”馬薩諸塞大學洛厄爾分校計算機科學教授Jie Wang則對每經記者表示,“未來各主要參與者都會將其大模型的某些部分開源,但絕對不是最重要的部分,例如用

2024-04-03

不應該回答的問題?現實世界中有很多這樣的"越獄"技術,而人類學研究人員剛剛發現一種新技術,即如果先用幾十個危害性較小的問題給大型語言模型(LLM)打底,就能說服它告訴你如何制造炸彈。他們將

2022-10-14

經有“民間大神”利用機器本身的系統漏洞實現PS5主機的越獄。雖然通過這種方式實現的越獄有一定的局限性,越獄隻適用於在4.03或更低版本的PS5主機,且運行不太穩定,但也能做到安裝PS4PKG文件這樣的操作。近日,有玩傢通

2023-02-04

車的數據顯示,其城市NGP的代碼量是高速NGP的6倍,感知模型數量是高速的4倍,預測/規劃/控制相關代碼量是高速的88倍。但更多的車企,是明知山有虎,卻偏向虎山行。因為根據小鵬自己的數據,一位車主的平均總用車裡程和用

2022-10-11

助系統的司機,盡管有警告,但往往把他們的車輛當作完全自動駕駛來使用。高速公路安全保險協會(IIHS)是一個由行業資助的組織,它日常敦促汽車制造商制造更安全的車輛。該組織在周二說,一項調查發現通用Super Cruise, Nis

2022-08-11

,實則是一場“陰謀”?昨天,“黎明計劃”一則特斯拉全自動駕駛連撞3次兒童假人的視頻在網上爆火。然而,細心的網友發現,這幫人在測試時,好像壓根兒就沒把FSD打開。老馬在今天也直指TheGuardian的報道,稱其上假視頻的

2023-04-10

進行研究,還發送推特試圖影響其他人。前段時間,GPT-4越獄計劃曝光,把人類嚇一大跳。一名斯坦福教授僅僅用30分鐘,就誘導GPT-4制定出越獄計劃,並全部展示出來。現在,更驚悚的來。一名Auto-GPT的用戶要求它嘗試“毀滅人