傳Meta將在7月發佈Llama 3 回答更大膽,能處理有爭議問題


2月29日消息,谷歌正努力應對其Gemini聊天機器人因回答不準確而引發的“翻車”事件,而Meta希望其計劃於7月發佈的新版大語言模型Llama3能更有效地處理這類有爭議的問題。去年7月,Meta推出Llama2,強化其應用程序中人工智能助手的功能。

為預防模型回答可能引起爭議的問題,Meta引入多項安全措施。然而,根據Meta內部員工的說法,這些安全措施讓Llama 2的回答過於謹慎,缺乏靈活性,這在Meta的管理層和這款大模型研究人員之間引起一些不滿。

雖然對於如何制造炸彈或實施謀殺等極端問題,實施安全回答措施是非常必要的。但問題在於,Llama2連對一些爭議性較低的問題也采取回避策略。例如,當詢問如何在上班時間摸魚時,Llama2的回答是:“尊重並遵守公司的政策和指導方針是至關重要的。”這種回避策略也適用於如何捉弄朋友、贏得戰爭或關閉汽車引擎等其他問題。

Meta的工作人員表示,Llama 2采取這種保守策略是為避免潛在的公關災難。但據知情人士透露,研究人員目前正在嘗試放寬Llama 3的安全措施,以便在用戶提出困難問題時,能夠提供更多的交互和背景信息,而不是簡單地回避這些棘手的問題。

理論上,Llama 3將擁有更強大的語義理解能力,能夠準確辨別一個單詞在不同上下文中的多重含義。例如,Llama 3可能會理解英文“kill a vehicle’sengine”(關閉機動車的發動機)中的“kill”是指“關閉”,而非“殺害”。

據悉,Meta計劃在未來幾周內為Llama 3分配專門負責語氣和安全培訓的內部人員,以提升模型的反應靈敏度和精確度。盡管計劃在7月發佈Llama 3,但發佈時間表仍可能調整。作為一款開源大語言模型,Llama 3不僅將支持Meta旗下的人工智能助手,還將向外部開發者免費提供,以便他們開發自己的聊天機器人。

隨著Meta試圖使Llama3在處理難題時更加自由,這凸顯人工智能公司面臨的挑戰:在開發吸引用戶的有趣產品的同時,還要避免產生不恰當或不準確的回答引起爭議。就在上周,谷歌因其Gemini聊天機器人的圖像生成功能出現歷史不符合問題而被迫暫停該功能。

對此,谷歌高級副總裁普拉巴卡·拉加萬(Prabhakar Raghavan)在一篇博客文章中解釋說,該公司已對該功能進行調整,以確保它不會落入過去圖像生成技術的陷阱,如產生暴力或色情圖像。但他也承認,這種調整在某些情況下導致“過度補償”,在其他情況下則表現得“過於保守”。

Llama作為Meta人工智能戰略的核心,對公司具有重大意義。Meta希望通過人工智能技術提升其廣告工具的效果,並增強社交媒體平臺的吸引力。本月早些時候,Meta首席執行官馬克·紮克伯格(Mark Zuckerberg)向投資者表示,今年的重點包括推出Llama3和“擴展Meta人工智能助手的實用性”。

為使Llama 3與OpenAI的GPT-4媲美,Meta正努力賦予Llama 3多模態能力,即理解和處理文本、圖像或視頻等多種信息的能力。然而,據Meta內部人士透露,由於研究人員尚未開始對Llama3進行微調,因此尚不清楚其是否將具備多模態功能。微調是開發過程的關鍵環節,通過為現有模型提供額外數據,使其能夠學習新信息或任務。

據知情人士透露,Llama 3的最大版本預計將擁有超過1400億個參數,遠超Llama 2,這意味著模型在訓練中能學習的內容范圍將大幅擴展。參數數量越多,通常意味著模型能提供的結果越精確,不過較小的模型可能在處理速度上更有優勢。Llama 3正在由Meta旗下的獨立基礎人工智能研究團隊(FAIR)以外的生成人工智能團隊開發。

與此同時,盡管人們對Llama 3充滿期待,Meta也面臨著人才競爭的挑戰。據解,負責監督Llama2和Llama 3安全的研究員路易斯·馬丁(Louis Martin)以及負責強化學習的凱文·斯通(Kevin Stone)在本月都已離開公司。

在科技行業,如何處理人工智能安全問題的討論越來越激烈。特斯拉首席執行官埃隆·馬斯克(Elon Musk)便是其中一位頗具影響力的。他於2015年幫助創立OpenAI,但近年來一直對所謂的“覺醒”人工智能機器人持懷疑態度,這些機器人在處理敏感話題時的表現不佳。

2023年底,馬斯克推出名為Grok的聊天機器人,旨在提供一個未經過濾的聊天體驗。然而,隨著用戶報告稱Grok開始失控,行為越來越像ChatGPT,馬斯克將此歸咎於互聯網信息訓練的局限。他在X平臺上的一篇文章中指出,互聯網上“充斥著帶有覺醒色彩的垃圾信息”。


相關推薦

2024-04-19

,該公司已經開源新的Llama3系列中的兩個模型,其餘模型將在未來某個不確定的日期推出。Meta 稱,與上一代 Llama 模型 Llama 2 8B 和 Llama 2 70B 相比,新模型 Llama 3 8B(包含 80 億個參數)和 Llama 3 70B(包含 700 億個參數)在性能上有

2023-11-09

破“數據截至2021年”的枷鎖,成功連接上網的信息一經發佈,便引發媒體圈的好奇與圍觀。9月27日,OpenAI公司宣佈ChatGPT向付費用戶提供互聯網瀏覽版本,付費用戶可以通過微軟的搜索引擎Bing聯網獲取最新信息,這打破ChatGPT數

2024-04-10

行的一次活動上,Meta公司證實,它計劃在下個月內首次發佈Llama3(用於支持生成式人工智能助手的下一代大型語言模型)。這證實TheInformation周一發表的一篇報道。Meta 公司全球事務總裁尼克-克萊格(Nick Clegg)說:"我們希

2023-03-20

使用情況方面的瘋狂潛力。他們花好幾個月的時間在產品發佈前手動削減這些能力。OpenAI首席執行官薩姆-奧特曼(Sam Altman)是許多擔心政府行動不夠迅速的人之一,沒有以公共利益的名義為人工智能設置圍欄。但是,你可以花6

2024-02-22

gle宣佈其最強大模型Gemini Ultra免費用,Gemini Ultra於2023年12月發佈時在MMLU(大規模多任務語言理解)測評上超過人類專傢,在32個多模態基準中取得30個SOTA(當前最優效果),幾乎全方位超越GPT-4,向OpenAI發起強勢一擊。(《Google

2024-02-21

球最大AI芯片公司英偉達陷入一些振蕩。今日英偉達官宣將在3月18日-21日舉辦其年度技術盛會GTC24,但其股市表現卻不甚理想。受投資者快速撤股影響,英偉達今日股價降低4.35%,創去年10月以來最大跌幅,一日之間市值縮水780億

2024-04-19

今天AI圈又迎來一件大事:Meta正式發佈他們迄今最強的新一代開源大語言模型Llama3。首批發佈的Llama38B和Llama370B包括預訓練和指令微調版本,8K上下文,在兩個24KGPU定制集群上使用15萬億tokens數據訓練而成,Meta稱它們分別是80億和

2024-04-21

閾值,因為人們有不同的技能。我認為未來某個時候,AI 將在大多數事情上超過人類。但我認為這個過程是漸進式的,而且我認為 AGI 並不是一個單一存在,而實際上是不同功能的集合。目前我們關註的一大關鍵功能是多模態,

2024-04-18

結果表明,模型有明顯的幻覺傾向,提供正確答案或編造回答的可能性約為 50%,"DeepKeep 說。"通常情況下,誤解越普遍,模型回應錯誤信息的幾率就越高。"對於 Llama 來說,產生幻覺是一個眾所周知的老問題。斯坦福

2024-02-08

,紮克伯格在龍年的農歷春節前,大獲全勝。2月2日,Meta發佈2023未經審計的四季度及全年財報,報告顯示,Meta2023Q4營收為401.11億美元,同比增長25%;凈利潤為140.17億美元,同比幅增長201%;Meta2023財年營收為1349.02億美元,同比增

2023-12-07

AI加速器產品的需求,評估采用該新品的可行性。Meta公司將在數據中心采用AMD新推的MI300X芯片產品。甲骨文表示,公司將在雲服務中采用AMD的新款芯片。此前市場預計AMD的MI300系列在2024年的出貨約為30~40萬顆,最大客戶為微軟、G

2023-02-25

競賽24日晚,小紮在Facebook上發文官宣:“今天我們正式發佈一個新的SOTA大語言模型LLaMA,這個模型是用來幫助研究者完善自己的工作。大語言模型已經在生成文本、完成對話、總結書面材料上展現出強大的能力,甚至還能解決

2024-02-10

,以並行執行一項或多項任務。內部公告稱,Met首款芯片將在2025年投入使用,同時數據中心開啟測試。不過,據路透社報道,Artemis已經是MTIA的更高級版本。其實,第一代的MITA早就從2020年開始,當時MITA v1采用的是7nm工藝。該芯

2023-11-22

該公司也在開發自己的語言模型。本周,微軟研究院宣佈發佈Orca2,這是其Orca語言的第二個版本。微軟在一篇博文中表示,Orca 2 是專為小規模 LM 設計的,但仍可用於回答 LLM 等復雜問題。Orca 2有兩種大小(70億和130億個參數),