1000多名矽谷企業傢科學傢聯名呼籲立刻停下所有大型AI研究


當全社會都在為AI的進化而歡呼雀躍,全新的、意想不到的風險可能也正在悄悄醞釀。3月22日,生命未來研究所(FutureofLife)向全社會發佈一封《暫停大型人工智能研究》的公開信,呼籲所有人工智能實驗室立即暫停比GPT-4更強大的人工智能系統的訓練,暫停時間至少為6個月。該機構以“引導變革性技術造福生活,遠離極端的大規模風險”為使命。


該機構在信中提到:

我們不應該冒著失去對文明控制的風險,將決定委托給未經選舉的技術領袖。隻有當確保強大的人工智能系統的效果是積極的,其風險是可控的才能繼續開發。

人工智能實驗室和獨立專傢應在暫停期間,共同制定和實施一套先進的人工智能設計和開發的共享安全協議,由獨立的外部專傢進行嚴格的審查和監督。

截止目前,馬斯克、蘋果聯合創始人Steve Wozniak、Stability AI 創始人Emad Mostaque等上千名科技大佬和AI專傢已經簽署公開信。


值得一提的是,OpenAI CEO奧特曼在與MIT研究科學傢Lex Fridman的最新對話中指出,AI已經出現其無法解釋的推理能力,同時承認“AI殺死人類”有一定可能性。

那麼ChatGPT是如何看待公開信中AI對人類社會的影響?華爾街見聞專門詢問ChatGPT 3.5,其表示隨著人工智能技術的不斷發展和普及,人工智能可能對社會和人類造成的影響將越來越大。這封公開信提出的呼籲和建議,應該被視為引起更廣泛和深入討論的起點和參考,而不是一個終點或解決方案。


以下是公開信原文:

正如廣泛的研究和頂級人工智能實驗室所承認的,人工智能系統對社會和人類構成較大的風險。《阿西洛馬人工智能原則》中指出,高級人工智能可能代表著地球上生命歷史的深刻變革,應該以相應的謹慎和資源進行規劃和管理。然而,盡管最近幾個月人工智能實驗室掀起AI狂潮,開發和部署越來越強大的數字大腦,但目前沒有人能理解、預測或可靠地控制AI系統,也沒有相應水平的規劃和管理。

現在,人工智能在一般任務上變得與人類有競爭力,我們必須問自己:我們應該讓機器在信息渠道中宣傳不真實的信息嗎?我們是否應該把所有的工作都自動化,包括那些有成就感的工作?我們是否應該開發非人類的大腦,使其最終超過人類數量,勝過人類的智慧,淘汰並取代人類?我們是否應該冒著失去對我們文明控制的風險?這樣的決定絕不能委托給未經選舉的技術領袖。隻有當我們確信強大的人工智能系統的效果是積極的,其風險是可控的,才應該開發。同時,這種信心必須得到驗證,並隨著系統的潛在影響的大小而加強。OpenAI最近關於人工智能的聲明中指出,在開始訓練未來的系統之前,可能必須得到獨立的審查,對於最先進的努力,同意限制用於創建新模型的計算增長速度。我們同意,現在就該采取行動。

因此,我們呼籲所有人工智能實驗室立即暫停比GPT-4更強大的人工智能系統的訓練,時間至少持續6個月。這種暫停應該是公開的、可核查的,並包括所有關鍵參與者者。如果這種禁令不能迅速實施,政府應該介入並制定暫停令。

人工智能實驗室和獨立專傢應在暫停期間,共同制定和實施一套先進的人工智能設計和開發的共享安全協議,由獨立的外部專傢進行嚴格的審查和監督。這些協議應該確保遵守協議的系統是安全的。值得一提的是,這並不意味著暫停一般的人工智能開發,隻是從危險的競賽中退後一步,限制不可預測的研究和開發。

人工智能的研究和開發應該重新聚焦於,使目前最先進和強大的系統更加準確、安全、可解釋、透明、穩健、一致、值得信賴和忠誠。

同時,人工智能開發者必須與政策制定者合作,大幅加快開發強大的人工智能治理系統。這些至少應該包括:專門針對人工智能的監管機構;監督和跟蹤高能力的人工智能系統和大型計算能力的硬件;出處和水印系統幫助區分真實和合成,並跟蹤模型泄漏;強大的審查和認證生態系統;對人工智能造成的傷害承擔責任;為人工智能安全技術研究提供強大的公共資金以及資源充足的機構,以應對人工智能可能導致的巨大的經濟和政治破壞。

人類可以通過人工智能享受繁榮的未來。現在,我們成功地創建強大的人工智能系統,可以在這個“人工智能之夏”中獲得回報,為所有人的明確利益設計這些系統,並給社會一個適應的機會。停止使用其他技術可能會對社會造成災難性影響,因此我們必須保持準備狀態。讓我們享受一個漫長的人工智能夏天,而不是匆忙進入秋天。



相關推薦

2024-03-09

人工智能研究人員則在爭論這種威脅有多嚴重。現在,90 多名生物學傢和其他科學傢簽署一份協議,他們專門研究用於設計新蛋白質的人工智能技術--這種微觀機制驅動著生物學中的所有創造--該協議旨在確保他們在人工智能輔

2023-04-03

(Max Tegmark)則表示,這一舉動並不是為試圖阻礙OpenAI的企業優勢。“這太搞笑。我看到有人說,‘埃隆·馬斯克正試圖減緩競爭,’”他說,並補充表示,馬斯克沒有參與起草這封信。“這件事關乎的不是一傢公司。”目前的

2023-03-30

,人工智能領域內的“叛逆者”、紐約大學心理學和神經科學榮譽教授GaryMarcus發文稱,“我們需要停止擔心機器人接管世界,而是更多地考慮那些壞人可能會利用LLMs做什麼,以及我們可以做什麼來阻止他們。”此前,Marcus 與馬

2023-11-21

據外媒Wired報道,當地時間周一,500多名OpenAI員工簽署一封公開信,以集體辭職威脅OpenAI董事會退出,並恢復SamAltman的首席執行官職務,以及聯合創始人GregBrockman的總裁職務。信中寫道:“The process through which you terminated Sam Altman

2023-11-06

的融資後,01.AI的估值達到10億美元。01.AI 已經發展到 100 多名員工,其中一半以上是來自大型跨國公司和中國科技公司的法學碩士專傢。例如,公司的技術副總裁是Google Bard的早期成員,首席架構師是 TensorFlow 的創始成員,曾與

2023-11-03

址:https://open.mozilla.org/letter/目前,Yann LeCun、吳恩達等150多名AI專傢都簽下名字。LeCun表示,“開放、透明和廣泛的訪問使軟件平臺更加安全可靠。我簽署這封來自Mozilla基金會的公開信,信中提出開放人工智能平臺和系統的理由

2023-05-08

人工智能研究中心(OpenAI)今年3月發佈新版ChatGPT之後,1000多名技術領袖和研究人員簽署公開信,呼籲在6個月內暫停開發人工智能新系統。幾天後,有40年歷史的人工智能促進會的19名現任和前任領導人發表公開信,警告人工智能

2023-04-03

學或化學)的科學傢。他說:“這是一個大問題。”著名矽谷風投機構Andreessen Horowitz的普通合夥人維尼塔·阿加瓦拉博士(Vineeta Agarwala)表示,所有行業的從業者都應該假設自己需要AI技術的支持,並對使用這種技術持開放態度

2023-03-03

模型系列LLaMA。在微軟高調把ChatGPT推到New Bing的臺前後,矽谷巨頭們就開始緊鑼密鼓地推動大模型研究,Google僅用兩個月就發佈類似ChatGPT的Bard。在這方面,中國並不落後。2023年2月起,百度、阿裡、騰訊、京東、字節等紛紛發聲

2023-11-21

領域,與其相關的企業皆是市場關註重心。”他分析道。矽谷人力專傢怎麼看關於OpenAI董事會解雇奧爾特曼的真實原因,市場眾說紛紜。矽谷資深人才專傢張琦 (Tom Zhang) 博士對記者表示,他認為OpenAI解雇奧爾特曼並非臨時起

2023-11-30

這些記錄顯示出必應聊天機器人固執、專橫的一面。對於矽谷來說,大語言模型並非新事物,OpenAI也早已小有名氣,2020年其發佈的GPT-3已經在業內積累一定口碑。問題在於,將大模型驅動的聊天機器人突然全量開放給用戶,這是

2023-03-29

息和考試作弊等目的。另外,AI自身潛在的高速進化也讓企業傢和科學傢們“警鈴大作”。華爾街見聞此前提及,3月22日,生命未來研究所向全社會發佈一封《暫停大型人工智能研究》的公開信,呼籲所有人工智能實驗室立即暫

2023-11-21

11月21日消息,據外媒報道,在OpenAI大約770名員工中,有500多人簽署一封聯名信,威脅要辭職加入微軟,除非他們的要求得到滿足,這加劇OpenAI前CEO薩姆·阿爾特曼(Sam Altman)被解雇引發的危機。據報道,他們要求OpenAI董事會恢

2022-07-29

其實是各自研究品味的取舍:“正如我們看到有科學傢從企業回歸實驗室,也有科學傢從實驗室進入工業界。”“當然,也有一些其他情況。”王金橋對《中國科學報》說,一些是因為感受到在產業界的壓力較大,沒有時間去陪