迄今最大!馬斯克AI大模型Grok開源:參數量達3140億


快科技3月18日消息,據媒體報道,馬斯克的AI創企xAI正式宣佈其大語言模型Grok-1已實現開源,並向公眾開放下載。

據解,Grok-1是一款基於混合專傢系統(Mixture-of-Experts,MoE)技術構建的大語言模型,擁有3140億參數,遠超OpenAI GPT-3.5的1750億。這是迄今參數量最大的開源大語言模型,遵照Apache 2.0協議開放模型權重和架構。

xAI表示,Grok-1始終由xAI自行訓練,其預訓練階段於2023年10月完成。此次發佈的是Grok-1預訓練階段結束時的原始基礎模型檢查點,即該模型未經過針對任何具體應用的微調。

xAI的目的之一就是與OpenAI、谷歌、微軟等對手在大模型領域進行競爭,其團隊來自OpenAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業和研究機構。

目前,xAI並沒有放出Grok-1的具體測試成績,它與其他公司的大模型之戰將成為業內關註的焦點。


相關推薦

2024-03-18

Grok-1,其參數量達到3140億,遠超OpenAIGPT-3.5的1750億。這是迄今參數量最大的開源大語言模型,遵照Apache2.0協議開放模型權重和架構。Grok-1是一個混合專傢(Mixture-of-Experts,MOE)大模型,這種MOE架構重點在於提高大模型的訓練和推

2024-03-21

的自回歸模型,參數規模達到3140億參數,是目前參數量最大的開源模型之一,Grok-1與主流開源大模型一樣免費可商用。在開源之前,Grok最大的亮點是直接調用X中的實時數據和“幽默”。但開源版本的Grok已經打折扣——在開發

2024-03-18

17日,馬斯克宣佈開源Grok-1,這使得Grok-1成為當前參數量最大的開源大語言模型,擁有3140億參數,遠超OpenAIGPT-3.5的1750億。有意思的是,Grok-1宣佈開源的封面圖為Midjourney生成,可謂“AI helps AI”。一直吐槽OpenAI不open的馬斯克,自

2024-03-18

論,到底要怎樣的配置才能運行這個當前開源社區參數量最大的大語言模型。而對於馬斯克來說,開源Grok-1的重要目的,似乎也是為自己與與OpenAI的唇槍舌戰再添一份底氣——就在開源同一時間,馬斯克貼臉嘲諷:“我們也想解

2024-04-09

出要與搜索引擎霸主Google較量的口號。其產品與Google搜索最大的不同是,用戶提出問題後,搜索界面給出的不再是數個鏈接,而是基於已有鏈接的完整回答。Aravind Srinivas(圖源:X)這一產品的成立不到兩年就拿到1億美元融資,

2024-05-09

知情人士透露,埃隆·馬斯克旗下的人工智能初創公司X.AICorp.(簡稱“xAI”)有望最快在本周完成一輪融資。半個月前曾有報道提到,xAI將在融資中籌集60億美元,投資者中將包含紅杉資本(SequoiaCapital),最終將使這傢成立不到

2024-05-27

快科技5月27日消息,埃隆馬斯克旗下的人工智能初創企業xAI近日宣佈,已經成功完成60億美元(約合435億元人民幣)的B輪融資,公司估值達到180億美元(約合1304億元人民幣)。本輪融資的主要投資者包括Valor Equity Partners、Vy Capit

2023-11-06

AI計算機能夠運行該模型,意味著特斯拉可能擁有地球上最大數量的推理算力。即便未來無人駕駛出租車的願景成真,汽車每周的實際使用時間大致隻有三分之一,剩下三分之二的時間可以用來做分佈式推理,例如參與“尋找地

2023-11-06

智能計算機能夠運行模型,特斯拉就可能擁有地球上數量最大的真正可用的推理計算能力。”自動駕駛系統被稱為“AI項目之母”,特斯拉在這條路上開發Dojo超級計算機,已於今年7月投產。10月,又有消息稱特斯拉正在美國德州

2023-11-17

oogleBard就顯得有些2G網。馬斯克表示,這是Grok與競品相比最大的優勢之一。此外,Grok還有多窗口任務處理、選擇聊天記錄並退回任意節點等功能。如果用戶對現有的回答不滿意,可以展開時間線,隨時切換、修改歷史對話記錄

2024-03-05

2016 年至 2020 年間總計捐贈超過 4400 萬美元,並成為當時最大的捐贈者。起訴風波發酵之後,迅速卷起輿論風暴,不少贊成馬斯克的網友們紛紛成為馬斯克的忠實粉絲,而反對者則紛紛發聲,不乏“格局小”等批評言論。但隨著

2024-03-08

與營利馬斯克向舊金山法院提交的訴狀洋洋灑灑寫35頁,最大“罪狀”指向OpenAI為逐利而放棄最初使命——“開發造福人類的人工智能技術”。馬斯克聲稱,OpenAI與微軟的合作夥伴關系已將這傢公司轉變為微軟“事實上的閉源子

2023-11-06

與JoeRogan的最新訪談。巨量、實時且獨特的數據構成Grok的最大護城河,早在7月馬斯克就已禁止其他組織使用這些數據訓練AI。個性上Grok也不是那種一板一眼的AI助手,說出的話多少沾點諷刺和幽默。哦,我親愛的人類啊,我這兒

2023-11-14

I 計算機能夠運行 AI 模型,特斯拉就可能擁有地球上數量最大的真正可用的推理計算能力。”馬斯克已經在暢想 Grok 上車的盛況|X12 個人,4 個月“肝”出 Grok 事實上,Grok 是馬斯克創辦的 AI 公司 xAI 的首項創新成果。而且