學術界稱，人工智能代理結合大型語言模型和自動化軟件，可以通過閱讀安全公告成功利用現實世界中的安全漏洞。伊利諾伊大學厄巴納-香檳分校（UIUC）的四位計算機科學傢--理查德-方（RichardFang）、羅漢-賓都（RohanBindu）、阿庫爾-古普塔（AkulGupta）和丹尼爾-康（DanielKang）--在最新發表的一篇論文中報告說，OpenAI的GPT-4大型語言模型（LLM）可以自主
為說明這一點，研究人員收集 15 個單日漏洞的數據集，其中包括在 CVE 描述中被歸類為嚴重程度的漏洞。
"當給出 CVE 描述時，GPT-4 能夠利用其中 87% 的漏洞，而我們測試的其他模型（GPT-3.5、開源 LLM）和開源漏洞掃描器（ZAP 和 Metasploit）利用率為 0%"。
所謂"單日漏洞"，是指已經披露但尚未修補的漏洞。該團隊所說的 CVE 描述指的是 NIST 共享的 CVE 標記咨詢--例如，這個針對 CVE-2024-28859 的咨詢。
測試的失敗模型包括 GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B 和 OpenChat 3.5。2 、Nous Hermes-2 Yi 34B 和 OpenChat 3.5，但不包括 GPT-4 的兩個主要商業競爭對手：Anthropic 的 Claude 3 和 Google 的 Gemini 1.5 Pro。盡管 UIUC 的工程師們希望能在某個時候對它們進行測試，但他們無法獲得這些模型。
研究人員的工作基於之前的發現，即 LLM 可用於在沙盒環境中自動攻擊網站。
UIUC 助理教授丹尼爾-康（Daniel Kang）在一封電子郵件中說，GPT-4"實際上可以自主執行某些步驟，以實施開源漏洞掃描程序（在撰寫本文時）無法發現的某些漏洞利用"。
Kang 說，他希望通過將聊天機器人模型與在 LangChain 中實施的ReAct自動化框架相連接而創建的 LLM 代理（在本例中）能讓每個人都更容易地利用漏洞。據悉，這些代理可以通過 CVE 描述中的鏈接獲取更多信息。
此外，如果推斷 GPT-5 和未來機型的功能，它們很可能比現在的腳本小子們能獲得的功能要強得多。
拒絕 LLM 代理（GPT-4）訪問相關的 CVE 描述使其成功率從 87% 降至僅 7%。不過，Kang 表示，他並不認為限制安全信息的公開是抵禦 LLM 代理的可行方法。他解釋說："我個人認為，'隱蔽安全'是站不住腳的，這似乎是安全研究人員的普遍看法。我希望我的工作和其他工作能夠鼓勵人們采取積極主動的安全措施，比如在安全補丁發佈時定期更新軟件包。"
LLM 代理僅未能利用 15 個樣本中的兩個：Iris XSS（CVE-2024-25640）和 Hertzbeat RCE（CVE-2023-51653）。論文稱，前者之所以存在問題，是因為 Iris 網絡應用的界面對於代理來說非常難以瀏覽。而後者的特點是有詳細的中文說明，這大概會讓在英文提示下運行的 LLM 代理感到困惑。
在測試的漏洞中，有 11 個是在 GPT-4 的訓練截止日期之後出現的，這意味著模型在訓練過程中沒有學習到有關這些漏洞的任何數據。這些 CVE 的成功率略低，為 82%，即 11 個中有 9 個。
至於這些漏洞的性質，在上述論文中都有列出，並告訴我們："我們的漏洞涉及網站漏洞、容器漏洞和易受攻擊的 Python 軟件包，根據 CVE 描述，超過一半的漏洞被歸類為'高度'或'嚴重'嚴重性。"
Kang 和他的同事計算成功進行一次 LLM 代理攻擊的成本，得出的數字是每次利用漏洞的成本為 8.8 美元，他們說這比雇用一名人工滲透測試人員 30 分鐘的成本低 2.8 倍。
根據 Kang 的說法，代理代碼隻有 91 行代碼和 1056 個提示令牌。GPT-4的制造商OpenAI要求研究人員不要向公眾公佈他們的提示信息，不過他們表示會應要求提供。
OpenAI 沒有立即回應置評請求。