權威政府和犯罪團夥正在爭先恐後地利用人工智能增添其網絡攻擊的能力，這些攻擊可能會打開守護我們最敏感機密和最重要基礎設施的大門--這將增加醫院、學校、城市和企業的危險，因為它們已經經常成為黑客欺詐性電子郵件的犧牲品，而黑客還會繼續制造混亂。
隨著技術的不斷發展，人們越來越擔心大型語言模型（LLM）（如 ChatGPT）被用於犯罪目的的可能性。人工智能將大大提高網絡釣魚郵件的成功率，這是黑客入侵人們的計算機、電子郵件賬戶和公司服務器的最具破壞性的有效技術。目前，90% 以上的網絡攻擊都是從網絡釣魚信息開始的，它們偽裝成來自朋友、傢人或商業夥伴的合法通信，誘騙人們在虛假登錄頁面上輸入密碼或下載惡意軟件，從而竊取數據或監視他們。通過利用人工智能的文本生成和數據分析能力，黑客將能夠發送更有說服力的網絡釣魚信息，誘騙更多受害者，造成難以計數的損失。
地下社區對 LLM 抱有極大的興趣，惡意 LLM 產品也將隨之出現。一個名為 last/laste 的未知開發者創建自己的 ChatGPT LLM 聊天機器人，旨在幫助網絡犯罪分子： WormGPT。WormGPT 誕生於 2021 年 3 月，直到 6 月，開發者才開始在一個流行的黑客論壇上出售該平臺的訪問權限。與 ChatGPT 等主流 LLM 不同，這個黑客聊天機器人沒有任何限制，無法回答有關非法活動的問題。聊天機器人的創建平臺是 2021 年推出的相對過時的開源大型 GPT-J 語言模型。聊天機器人接受惡意軟件開發相關材料的培訓，這就是 WormGPT 的誕生過程。開發人員估計，訪問 WormGPT 的費用為每月 60 歐元至 100 歐元，或每年 550 歐元。
專傢認為，俄羅斯等威權國傢正在研究人工智能的惡意用途，包括用於網絡釣魚。而在地下犯罪組織中，有才華的開發者已經在構建和出售定制人工智能平臺的訪問權限，如 WormGPT（可生成令人信服的網絡釣魚信息）和 FraudGPT（可創建虛假網站以支持網絡釣魚活動）。
網絡公司 Trustwave 高級安全研究經理菲爾-海伊（Phil Hay）說："我們完全可以預見，攻擊者將越來越多地利用人工智能來創建他們的網絡釣魚活動。"
網絡釣魚領域這場迫在眉睫的革命--由同樣的技術驅動--已經讓用戶眼花繚亂，因為這種技術能夠在幾秒鐘內撰寫論文並制作出假肖像--讓一些網絡安全專傢感到震驚，他們擔心即將出現的惡意信息會過於復雜，大多數人都無法識別。
聯邦網絡安全和基礎設施安全局網絡部門前負責人佈賴恩-瓦爾（Bryan Ware）說："如果人工智能像我們現在談論的那樣起飛，那麼網絡釣魚的企圖將變得越來越嚴重，越來越難以防范，也越來越難以發現。"
如果犯罪分子擁有自己的類似 ChatGPT 的工具，那麼對網絡安全、社交工程和整體數字安全的影響將是巨大的。這一前景凸顯我們在努力確保人工智能技術安全和負責任地開發人工智能技術時保持警惕的重要性，以降低潛在風險並防止濫用。