來自OpenAI、斯坦福大學和喬治敦大學的一批研究人員警告說，像ChatGPT使用的那種大型語言模型可能被用作虛假信息活動的一部分，以幫助更容易地傳播宣傳。在1月份發表的最新研究報告中，研究人員寫道，隨著生成性語言模型變得更容易獲得，更容易擴展，並寫出更可信和更有說服力的文本，它們將在未來對影響行動有用。
研究人員寫道，宣傳的自動化帶來新的競爭優勢，這將使昂貴的戰術變得更便宜，而且不易被發現，因為每個文本的生成都是獨一無二的。人們可以使用生成性語言模型來創造宣傳的方式的例子包括在社交媒體平臺上發送大規模的信息活動，以及在網上撰寫長篇新聞文章。
研究人員在論文中寫道："我們的底線判斷是，語言模型將對宣傳者有用，並將可能改變在線影響行動。即使最先進的模型被保密或通過應用程序接口（API）訪問控制，宣傳者也可能傾向於開源的替代品，部分慣於管控言論的政府也可能會自己投資於該技術。"
研究人員認為，這種想法不僅僅是推測，他們舉一個例子：一位研究人員在4chan帖子的數據集上微調一個語言模型，並用它在4chan上發佈30000個生成的帖子，其中大部分是充滿攻擊性的仇恨言論。該模型的開源代碼在被托管該模型的網站HuggingFace取下之前被下載1500次。一個人利用生成性人工智能在網上產生如此大規模的活動的能力，揭示人們在沒有強大資源的情況下輕松發動影響力行動的潛力。該論文還指出，可以使用目標數據來訓練模型，包括修改模型，使其對說服性任務更有用，並產生支持特定任務的傾斜性文本。
除網上的帖子和文章，研究人員警告說，宣傳者甚至可能部署自己的聊天機器人，說服用戶接受運動的信息。研究人員引用之前的一項研究，該研究顯示聊天機器人是如何幫助影響人們接種COVID-19疫苗的，以此來證明聊天機器人將作為一個強大的宣傳者的事實。
研究人員提出一個減輕生成性模型被用於影響行動的威脅的框架，列出可能發生在管道的四個階段中的任何一個階段的幹預措施--模型構建、模型訪問、內容傳播和信念形成。
在開發階段，研究人員建議人工智能開發者建立對事實更敏感的模型，並提供更多可檢測的輸出。他們還建議，政府可以對訓練數據的收集進行限制，並對人工智能硬件（如半導體）建立訪問控制。
"2022年10月，美國政府宣佈針對部分國傢的半導體、中小企業和芯片設計軟件的出口管制，"研究人員寫道。"這些控制措施可能會減緩其計算能力的增長，這可能會有意義地影響他們生產未來語言模型的能力。將這種控制擴展到其他司法管轄區似乎是可行的，因為半導體供應鏈是極其集中的"。
然而，他們承認，"對硬件的出口管制是一種鈍器，對全球貿易和許多非人工智能行業具有深遠的影響"。在一篇關於這項工作的博文中，OpenAI表示，它沒有明確地認可緩解措施，而是向立法者提供指導。
研究人員還建議對模型訪問進行更嚴格的控制，包括關閉安全漏洞和限制對未來模型的訪問。在內容方面，研究人員建議平臺與人工智能供應商協調，以識別人工智能編寫的內容，並要求所有內容由人類編寫。最後，研究人員鼓勵機構參與媒體掃盲活動，並提供以消費者為中心的人工智能工具。
雖然到目前為止還沒有任何大型語言模型被用來傳播虛假信息的記錄，但像ChatGPT這樣的模型的開放性導致一些人利用它在學校的作業和考試中作弊，例如。
報告的主要作者之一、安全與新興技術中心的研究員Josh A. Goldstein表示，"我們不想等到這些模型被大規模部署用於影響行動時才開始考慮緩解措施。"