亞馬遜大模型Olympus曝光 2萬億參數秒殺GPT-4


亞馬遜的“秘密武器”很可能將在12月亮相,取代OpenAI的時刻要來?“百模大戰”中存在感不高的亞馬遜如今正在醞釀他的“秘密武器”。11月8日,媒體報道稱,亞馬遜正在訓練他的第二個大語言模型——內部代號為“Olympus”,很有可能在今年12月份上線。

這一名為Olympus大語言模型規模達到2萬億(2000B)參數,超過GPT-4的參數規模(此前報道稱GPT-4的參數約為1萬億)。

亞馬遜計劃將“Olympus”接入在線零售商店、Echo等設備上的Alexa語音助手,並為AWS平臺提供新的功能。

媒體分析認為,亞馬遜作為第一大雲服務廠商,多年來在基礎設施方面的建設,以及技術層面的積累,使其擁有巨大的競爭優勢。“Olympus”的出現將成為一個明確的信號:亞馬遜希望在AI時代開發屬於自己的LLM,不在關鍵技術上依賴他人。

據悉,因技術問題以及ChatGPT的出現,亞馬遜名為“Titan”(泰坦)的AI大語言模型在去年推遲上線,當時高管們普遍認為ChatGPT遠遠優於Titan。

從那時開始,亞馬遜一直默默追趕,想以最快的速度縮小差距。

今年4月,亞馬遜雲服務部門(AWS)宣佈,推出Bedrock生成式人工智能服務,以及自有的大型語言模型“Titan”但並未掀起太大波瀾。

今年9月的重磅新品發佈會上,亞馬遜稱,新版Alexa的新功能將得到生成式AI技術加持。Alexa的AI助手將會像其他生成式AI助手一樣,幫助用戶起草郵件,完成生活中的各種任務。

亞馬遜設備和服務高級副總裁Dave Limp表示,等到那個時候,Alexa語音助手也將會獨立於Amazon Prime收費。

亞馬遜豪擲40億美元投資OpenAI最大勁敵

亞馬遜的AI版圖中,除還未面世的“Olympus”外,10月,對於OpenAI最大勁敵——Anthropic的40億美元的投資格外引發關註。

在這筆投資之後,Anthropic的模型也成為AWS服務中的一部分,用戶可以通過Amazon Bedrock訪問Claude,讓AWS能夠向客戶提供最先進的大語言模型服務。

亞馬遜開發人員和工程師將能夠通過Bedrock 使用 Anthropic 模型進行構建,並將其整合到自身業務中,為亞馬遜AI發展提供強有力的支持。

兩傢公司在一份聲明中表示,亞馬遜將持有 Anthropic 的少數股權,估值尚未確定。

同時,與Anthropic的合作,亞馬遜意在“花錢買客戶”,加速開發自研AI芯片。

一方面,大多數人工智能應用都依賴於英偉達的昂貴芯片,而AWS推出的加速芯片Trainium 和 Inferentia,也能夠降低訓練模型和運行推理的成本,Anthropic表示將使用AWS芯片來構建和訓練模型。

另一方面,AWS傾向於構建自己的產品,而不是依賴於從其他公司購買的技術或業務。亞馬遜表示,該公司工程師,包括在 AWS 以外工作的工程師,將可以使用Anthropic的模型。

亞馬遜高管表示,所謂的生成式AI還處於早期階段,迄今已有10萬多名客戶在使用AWS的機器學習服務。Claude將作為亞馬遜“Bedrock”服務的一部分,向客戶提供亞馬遜和第三方模型,無疑將給AWS服務增加競爭優勢。


相關推薦

2023-11-09

媲美。消息人士稱,亞馬遜人工智能模型的內部代號為“Olympus”,該模型擁有2萬億個參數,這一規模可能會讓它成為當前世界上正在接受訓練的最大模型之一。OpenAI的GPT-4是目前全球最好的模型之一,據傳該模型有1萬億個參數

2023-09-03

下來的18個月內,他們可能會進行一次比制造GPT-4的語言模型訓練運行大10倍或100倍的訓練運行。今年3月份GPT-4正式發佈,和ChatGPT最初使用的GPT-3.5模型相比,GPT-4實現幾個方面的飛躍式提升:強大的識圖能力;文字輸入限制提升

2023-03-28

的雲計算企業。IDC數據顯示,2021年全球IaaS市場中,包括亞馬遜、微軟、Google、IBM在內的美國企業合計占比近70%。而美國最具代表性的AI大模型初創企業,無論是OpenAI還是Anthropic都接受微軟和Google這樣的雲大廠投資。這背後除資

2023-08-01

追趕。今年3月份GPT-4正式發佈,和ChatGPT最初使用的GPT-3.5模型相比,GPT-4實現幾個方面的飛躍式提升:強大的識圖能力;文字輸入限制提升至2.5萬字;回答準確性顯著提高;能夠生成歌詞、創意文本,實現風格變化。GPT-3.5有1750億參數

2023-11-29

亞馬遜發力捍衛在雲計算領域的領先地位,一邊升級自研的雲芯片、推出亞馬遜版的GPT——人工智能(AI)聊天機器人,一邊深化同英偉達的合作,推出基於英偉達芯片的新服務、和英偉達共同研發超級計算機。AWS的副總裁Dave Br

2024-03-14

超算。它可以訓練相當於GPT-4、Gemini十幾倍的下一代AI大模型,能在單一邏輯內存空間內存儲24萬億參數,無需分區或者重構。用它來訓練1萬億參數大模型的速度,相當於用GPU訓練10億參數。四顆並聯,它能在一天之內完成700億參

2024-03-05

的是,譬如 Meta 的 LLaMA、 AI 界開源黑馬 Mistral AI 等開源模型的發展卻如火如荼。相比之下,OpenAI 的閉源做法顯得尤為突出,一度成為口誅筆伐的對象。作為開源理念的擁躉,圖靈獎得主 Yann Le Cun 也曾多次批評 OpenAI,此前的采

2024-03-27

息(從上圖中也可以看出),關於OpenAI手中握著的一大把模型——比如,Arrakis/GPT-5在GPT-4不久後訓練3個月,於22年10月結束;在GPT-5之後,GPT-4.5於23年4月完成訓練。最勁爆的消息當然就是,現在GPT-6或許已經在訓練中。但是,GPT-5

2024-03-20

能。基於Blackwell GPU的產品將在今年晚些時候陸續上市,亞馬遜雲、戴爾、谷歌、Meta、微軟、OpenAI、甲骨文、特斯拉、xAI等都會采納。亞馬遜雲、谷歌雲、微軟Azeure、甲骨文雲將是首批提供Blackwell GPU驅動實例的雲服務提供商,NVI

2024-05-07

一,有報道稱微軟正在訓練名為MAI-1的內部人工智能語言模型,其規模可與谷歌和OpenAI的大模型相媲美。根據兩名微軟員工的說法,MAI-1模型由最近微軟挖來的谷歌DeepMind聯合創始人、人工智能初創公司Inflection前首席執行官穆斯

2023-02-11

Z生成式AI的大量資金最終都穩定地流向基礎設施層——以亞馬遜AWS、微軟Azure、GoogleGCP為主的雲廠商,以及以英偉達為代表的GPU廠商。據A16Z估計,應用層廠商將大約20%~40%的收入用於推理和模型微調,這部分收入通常直接支付給

2024-03-19

使其成為價值數億美元的公司,其價值可能超過Alphabet和亞馬遜。盡管競爭對手一直在奮力追趕,但也許NVIDIA即將擴大其領先優勢--憑借新的BlackwellB200GPU和GB200"超級芯片"。NVIDIA 首席執行官黃仁勛在 GTC 現場直

2023-09-07

慧產業事業群CEO湯道生宣佈,騰訊自主研發的通用大語言模型——混元,正式面向產業亮相。據介紹,騰訊混元大模型擁有超千億參數規模,預訓練語料超2萬億tokens,具有強大的中文理解與創作能力、邏輯推理能力,以及可靠

2024-06-19

智源人工智能研究院發佈全球首個單體稠密萬億參數語義模型Tele-FLM-1T,成為國內首批發佈稠密萬億參數大模型的機構。面對大模型訓練過程中算力消耗巨大的挑戰,TeleAI與智源通過深度研發,結合模型生長和損失預測等關鍵技