數十位頂級科學傢聯名呼籲防止不懷好意者利用AI發展生物武器


備受矚目的人工智能新創公司Anthropic的首席執行官達裡奧-阿莫代(DarioAmodei)去年告訴美國國會,新的人工智能技術很快就能幫助不熟練但心懷惡意的人制造大規模的生物襲擊,比如釋放病毒或有毒物質,造成大范圍的疾病和死亡。

兩黨參議員都感到震驚,而工業界和學術界的人工智能研究人員則在爭論這種威脅有多嚴重。

現在,90 多名生物學傢和其他科學傢簽署一份協議,他們專門研究用於設計新蛋白質的人工智能技術--這種微觀機制驅動著生物學中的所有創造--該協議旨在確保他們在人工智能輔助下進行的研究不會對世界造成嚴重危害。

包括諾貝爾獎獲得者弗朗西斯-阿諾德在內的生物學傢代表美國和其他國傢的實驗室,他們還認為,最新技術的好處遠遠多於壞處,包括新疫苗和新藥。

協議寫道:"作為從事這項工作的科學傢,我們相信目前的人工智能技術對蛋白質設計的益處遠遠大於潛在的危害,我們希望確保我們的研究在未來對所有人都有益。"

該協議並不尋求壓制人工智能技術的開發或傳播。相反,生物學傢們的目標是規范制造新遺傳物質所需設備的使用。

a13976f7b1e7feeefbb8c9583bf68a80.jpg

華盛頓大學蛋白質設計研究所所長戴維-貝克(David Baker)說,這種 DNA 制造設備最終導致生物武器的開發,而他正是該協議的促成者。

"蛋白質設計隻是制造合成蛋白質的第一步,"他在接受采訪時說。"然後,你必須實際合成DNA,並將設計從計算機中轉移到現實世界中--而這正是進行調節的適當場所"。

該協議是權衡人工智能的風險和可能帶來的好處的眾多努力之一。一些專傢警告說,人工智能技術可能會幫助傳播虛假信息,以非同尋常的速度取代工作崗位,甚至可能毀滅人類,因此科技公司、學術實驗室、監管機構和立法者都在努力解這些風險,並找到應對方法。

阿莫迪博士的公司Anthropic建立大型語言模型,即L.L.M.s,這是一種驅動在線聊天機器人的新型技術。他在國會作證時指出,這種技術很快就能幫助攻擊者制造新的生物武器。

但他承認,這在今天是不可能的。人類學傢最近進行一項詳細研究,結果表明,如果有人試圖獲取或設計生物武器,L.L.M.s 比普通的互聯網搜索引擎要有用得多。

阿莫代博士和其他人擔心,隨著公司改進 L.L.M.,並將其與其他技術相結合,將會出現嚴重的威脅。他告訴國會,這種情況隻會在兩到三年後出現。

ChatGPT在線聊天機器人的制造商OpenAI後來也進行類似的研究,結果顯示L.L.M.s並不比搜索引擎危險得多。美國麻省理工學院計算機科學教授、OpenAI準備工作負責人亞歷山大-蒙德裡(Aleksander Mądry)說,他預計研究人員會繼續改進這些系統,但他還沒有看到任何證據表明這些系統能夠制造新的生物武器。

如今,L.L.M.s 是通過分析從互聯網上獲取的大量數字文本而創建的。這意味著,它們會重復或重組網上已有的信息,包括現有的生物襲擊信息。

但是,為加快新藥、疫苗和其他有用生物材料的開發,研究人員開始建立類似的人工智能系統,以生成新的蛋白質設計。生物學傢說,這種技術也可以幫助攻擊者設計生物武器,但他們指出,真正制造這種武器需要一個價值數百萬美元的實驗室,包括 DNA 制造設備。

非營利組織"未來之傢"(Future House)的聯合創始人、簽署協議的生物學傢之一安德魯-懷特(Andrew White)說:"有些風險並不需要數百萬美元的基礎設施建設,但這些風險已經存在一段時間,與人工智能無關。

生物學傢們呼籲制定安全措施,防止 DNA 制造設備與有害物質一起使用--盡管目前還不清楚這些措施將如何發揮作用。他們還呼籲在發佈新的人工智能模型之前對其進行安全和安保審查。

他們並不主張將這些技術封存起來。芝加哥大學生物化學和分子生物學教授拉瑪-蘭加納坦(Rama Ranganathan)說:"這些技術不應該隻由少數人或組織掌握,科學傢群體應該能夠自由地探索這些技術,並為之做出貢獻"。


相關推薦

2023-03-29

終點或解決方案。以下是公開信原文:正如廣泛的研究和頂級人工智能實驗室所承認的,人工智能系統對社會和人類構成較大的風險。《阿西洛馬人工智能原則》中指出,高級人工智能可能代表著地球上生命歷史的深刻變革,應

2023-04-03

能倫理研究,現在是人工智能公司Hugging Face的首席倫理科學傢。但米歇爾本人批評這封信,並表示目前還不清楚什麼東西“比GPT4更強大”。“這封信將許多值得商榷的想法視為假定事實,信中提出一系列有利於未來生命研究所

2023-11-03

安全的大討論,也再次推向高潮。OpenAI聯合創始人兼首席科學傢Ilya Sutskever在采訪時表示, ChatGPT可能是有意識的,超級AI將會成為一種潛在風險。而OpenAI CEO Sam Altman最近在劍橋參加活動時,甚至遭到激進分子的強烈抵制,在大禮

2022-11-07

的奧秘。2006年諾貝爾物理學獎得主、韋佈空間望遠鏡高級科學傢約翰·馬瑟介紹韋佈的系列觀測成果。對於探秘早期宇宙,他表示,“這與科技樹’根系過去,枝連未來’的理念一致,韋佈望遠鏡幫助我們解宇宙的誕生及發展,

2023-03-31

用,繼續發展會導致很多新問題,應該讓科技靜止下來,科學傢不要再搞研究。此類極端非理性想法,從來沒有被社會嚴肅對待過。顯然,上述ChatGPT導致的三大沖擊都不是什麼新問題,早在ChatGPT爆火之間就已經被學界和政府所

2023-07-08

會議在上海圓滿舉辦,多位全球人工智能及相關交叉領域頂級科學傢、高校教授及業內外人士齊聚一堂,共同探討全球化視野下的“通用人工智能與科學未來”。重磅發佈:開啟通用大模型新時代會議期間,上海AI實驗室與商湯

2024-03-09

克對OpenAI的開源要求。而這背後所折射出的也是AI浪潮下科學界的長期爭論話題——到底應該開源還是閉源?紐約大學坦登工程學院計算機科學與工程系副教授Julian Togelius在接受《每日經濟新聞》記者采訪時表示,開源是大勢所

2023-03-30

,人工智能領域內的“叛逆者”、紐約大學心理學和神經科學榮譽教授GaryMarcus發文稱,“我們需要停止擔心機器人接管世界,而是更多地考慮那些壞人可能會利用LLMs做什麼,以及我們可以做什麼來阻止他們。”此前,Marcus 與馬

2023-05-02

他們自己的公開信,警告AI的風險。該組織包括微軟首席科學官埃裡克霍維茨(Eric Horvitz)。微軟已將OpenAI的技術應用於一系列產品,包括必應搜索引擎。辛頓沒有在這兩封信上簽名。他說,在辭職之前,他不想公開批評谷歌或其

2022-07-07

物學傢。後來,女主繼續在學業上一路高歌,2009年獲得頂級名校蘇黎世聯邦理工學院的生物學學士學位,並在倫敦開放大學研修心理學,2010年又赴麻省理工學院攻讀神經科學博士。她曾獲得 Harold M. Weintraub 研究生獎、麻省理工

2023-11-30

,利用規劃策略取代自回歸token預測這件事,是幾乎所有頂級實驗室都有做的研究,而Q*則可能是OpenAI在該領域的嘗試,簡而言之就是勸大傢不要大驚小怪。紐約大學心理學和神經科學教授蓋裡·馬庫斯(Gary Marcus)也做類似的表

2023-05-08

hatGPT和谷歌的巴德(Bard)。蘇茨克韋爾後來成為OpenAI的首席科學傢。大約同一時間,谷歌、OpenAI和其他公司開始建立通過大量數字化文本學習的人工神經網。去年,谷歌公司和OpenAI公司開始利用更龐大的數據建立人工智能系統。欣

2023-11-19

,AI從業者一直擔心更強大的模型可能被濫用,比如開發生物武器、生成有說服力的深度偽造或入侵關鍵基礎設施。一些人還認為這些系統最終可能會變得自主並以人類的代價失控。隨著OpenAI開發出可以自動化寫作、編程和從零

2024-03-27

才者得天下。在影響人類的人工智能領域,人才,尤其是頂級的AI人則是贏得這場較量的關鍵之一。最近,美國保爾森基金會(PaulsonInstitute)下屬的麥克羅波洛智庫(MacroPolo)公佈一項名為“全球人工智能人才追蹤”的調查,它描繪