Meta推出先進大型語言模型 下一個ChatGPT不遠?


ChatGPT的爆火引爆AI行業,全球科技巨頭爭相殺入這一領域展開混戰。周五,Meta也宣佈推出大型語言模型LLaMA,加入到由微軟、谷歌等科技巨頭主導的AI“軍備競賽”中。當地時間2月24日,Meta宣佈將推出針對研究社區的“Meta人工智能大型語言模型”系統(LargeLanguageModelMetaAI),簡稱“LLaMA”。

同ChatGPT、New Bing不同,LLaMA並不是一個任何人都可以與之對話的產品,也並未接入任何Meta應用。更為確切地說,該產品將是一個開源的“研究工具”。

公司CEO紮克伯格在社交媒體上表示,LLaMA旨在幫助研究人員推進研究工作,LLM(大型語言模型)在文本生成、問題回答、書面材料總結,以及自動證明數學定理、預測蛋白質結構等更復雜的方面也有很大的發展前景。


1、開源的“研究工具”

Meta表示,LLaMA可以在非商業許可下提供給政府、社區和學術界的研究人員和實體工作者,正在接受研究人員的申請。

此外,LLaMA將提供底層代碼供用戶使用,因此用戶可以自行調整模型,並將其用於與研究相關的用例。與之截然不同的是,Google旗下的DeepMind和OpenAI並不公開訓練代碼。

該公司還表示,LLaMA作為一個基礎模型被設計成多功能的,可以應用於許多不同的用例,而不是為特定任務設計的微調模型。

2、比GPT3.5性能更強

根據Meta官網介紹,LLaMA包含4個基礎模型,參數分別為70億、130億、330億和650億。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 萬億個 tokens 上訓練,而最小的模型 LLaMA 7B 也經過 1 萬億個 tokens 的訓練。


Meta表示,在大多數基準測試中,參數小的多的LLaMA-13B的性能優於GPT3.5的前身GPT3-175B,而LLaMA-65B更可與業內最佳的Chinchilla-70B和PaLM-540B競爭。值得一提的是,近期大火的ChatGPT便是由GPT3.5提供支持。


Meta 還提及,LLaMA-13B對算力的要求“低得多”,可以在單個數據中心級GPU(NVIDIA Tesla V100)上運行。

紮克伯格寫道:

“Meta 致力於這種開放的研究模式,我們將向 AI 研究社區提供我們的新模型。”

值得一提的是,去年5月,Meta 也曾推出過大型語言模型 OPT-175B。該項目同樣也是針對研究人員的,這構成其聊天機器人 blenterbot 新迭代的基礎。後來,該公司還推出一款名為“卡拉狄加”(Galactica) 的模型,但因經常分享偏見和不準確的信息而遭到下架。

據媒體報道,紮克伯格已將人工智能作為公司內部的首要任務,其本人也經常在財報電話會議和采訪中談論它對改進 Meta 產品的重要性。媒體分析稱,雖然現在 LLaMA 沒有在 Meta 產品中使用,但未來不排除使用的可能。


相關推薦

2023-02-25

的方面也有很大的發展前景。值得一提的是,近期大火的ChatGPT就是采用LLM構建的聊天機器人。ChatGPT由GPT3.5提供支持,而GPT3.5是一款基於OpenAI 175B參數基礎模型訓練的LLM,175B是它從訓練數據中所學習、沉淀下來的內容。Meta在官網

2023-02-25

場:我們有全新的SOTA大語言模型LLaMA。劃重點:和OpenAI的ChatGPT、Google的Bard不同,LLaMA這個AI並不是用來讓我們聊天的,它是一個研究工具,Meta希望大傢可以通過它,解決一直困擾大語言模型的一些問題。Meta會對非商用的研究用

2023-02-28

在OpenAI推出大型語言模型ChatGPT後,競爭對手紛紛迎頭趕上。谷歌有Bard,微軟有新必應。現在,Meta也上線一個新模型LLaMA。目前,該模型隻對研究人員開放。據解,LLaMA是LargeLanguageModelMetaAI的首字母縮寫詞,比現有的模型更小,

2023-02-08

lectiveForecast組織的在線討論中說表示,就底層技術而言,ChatGPT並不是多麼不得的創新:雖然在公眾眼中,它是革命性的,但是我們知道,它就是一個組合得很好的產品,僅此而已。ChatGPT絕不是一種開拓式的創新。2月4日,LeCun再

2024-04-10

劃用 Llama 3 支持 Meta 的多個產品。一年多前,OpenAI 推出 ChatGPT,並將人工智能生成式問答變成日常的主流體驗,這讓 Meta 和Google等其他大型科技公司措手不及。Meta 公司在人工智能方面基本上采取非常謹慎的態度,但這並沒有得

2023-01-22

1月22日消息,作為免費的在線AI聊天工具,ChatGPT和Dall-E2等AIGC(生成式人工智能)正迅速走紅,任何人都可以用它們來生成文本或藝術圖像。現在,微軟正在AI領域押下重註,這可能有助於ChatGPT等聊天機器人更快普及。多年來,

2023-02-06

iss大語言模型是邪路,也為自傢匆忙下線的Galactica酸一把ChatGPT。而LeCun態度的大反轉,也讓曾經的對頭馬庫斯喜出望外。不僅頻頻轉發LeCun推文,還高調宣佈兩人的‘世紀大和解’。這兩天,圖靈獎得主Yann LeCun心態有些崩。自從

2023-01-29

科技巨頭們加快AI開發速度。據消息人士透露,由於圍繞ChatGPT的關註激增,Meta和谷歌內部壓力也在增大,甚至可能為行動更快而撇開某些潛在的安全擔憂。早在AI研究公司OpenAI於2011年11月份首次推出AI聊天機器人ChatGPT三個月前,

2023-08-10

提供Meta發佈的Llama2的早期訪問權。自去年年底OpenAI推出ChatGPT 以來,消費者和企業都對這種全新的技術產生濃厚的興趣,企業也越來越希望將人工智能引入其工作流程之中,以提高效率並帶來先進的功能。IBM表示,Meta的開源人

2023-03-22

何運作的。‘重點’毫無疑問是生成式AI。老黃對OpenAI的ChatGPT贊不絕口,誇它“震驚世界”,代表著“嶄新的計算平臺已經誕生,AI的‘iPhone時刻’已經到來”。據英偉達透露,OpenAI將在微軟Azure超級計算機上使用英偉達H100 GPU,

2023-03-02

由美國OpenAI公司開發的ChatGPT模型在全球點燃新一輪AI革命,海內外關註度陡增。前不久,復旦大學計算機科學技術學院邱錫鵬團隊發佈類ChatGPT模型MOSS,新聞迅速登上微博熱搜。近日,邱錫鵬團隊接受訪談,詳細介紹人們關註的M

2023-09-25

機器人。隨著美國人工智能研究公司OpenAI旗下聊天機器人ChatGPT大火,人們對ChatGPT等生成式AI的興趣激增。為利用這一趨勢。Meta、谷歌、微軟和亞馬遜等科技巨頭都在開發自己的人工智能產品。在TikTok迅速崛起後,Meta正在重新調

2024-03-18

“模型竊取”的技術。通過模型竊取技術,Google成功破解ChatGPT基礎模型Ada和Babbage的投影矩陣,甚至連內部隱藏維度的關鍵信息也是直接破獲,分別是1024和2048。這一發現猶如一記重磅炸彈,在AI界引發強烈的震動。誰也沒想到,

2023-02-14

ChatGPT的技術上個星期被微軟裝上必應搜索,擊敗Google,創造新時代的時候似乎已經到來。然而隨著越來越多的人開始試用,一些問題也被擺上前臺。有趣的是,每天都在登上熱搜的ChatGPT似乎也讓以往觀點相悖的著名學者,紐約