為什麼OpenAI更有可能在今年發佈GPT-4.5而不是GPT-5?


盡管GPT-4目前在日益錯綜復雜的生成式人工智能世界中處於頂峰,但其競爭對手,包括Anthropic的Claude和Meta的開源Llama都在不斷進步,因此OpenAI的旗艦產品大型語言模型(LLM)有必要進行新一輪迭代。雖然不少人預計山姆-奧特曼的非營利組織將在2024年發佈GPT-5,但一些分析師現在斷言,這種預期仍然很牽強,尤其是考慮到所需的資源規模。

OpenAI-GPT-5-GPT-4.jpg

據人工智能安全中心(Center for AI Safety)主任丹-亨德裡克斯(Dan Hendrycks)稱,OpenAI 的 GPT LLM 每迭代一次,所需的計算資源就增加 10 倍。因此,如果 OpenAI 跳過 GPT-4.5,直接跳到 GPT-5,那麼計算需求將比 GPT-4 增加約 100 倍,相當於約 100 萬個 H100 芯片連續運行三個月。

圖片.png

Anthropic公司首席執行官達裡奧-阿莫代(Dario Amodei)最近指出,目前培養一名最先進的 LLM 需要花費約 10 億美元,預計到 2025/26 年,這一成本將激增到 50 億到 100 億美元之間。重要的是,10 億美元的培訓成本與 GPT-4.5 可以合理推斷出的 10 倍計算資源激增相吻合。

我們最近註意到,英偉達今年部署的 H100 設備預計年耗電量約為13000 GWh,相當於立陶宛和危地馬拉等國的年耗電量。到 2027 年,全球數據中心的耗電量預計將達到85 到 134 太瓦時(TWh)!

圖片.png

我們之前提到過,GPT-4 的競爭對手正在迅速迎頭趕上。Meta公司的Llama 3 LLM(700億參數)目前在Arena排行榜上排名前五。重要的是,Llama 3 現在已經超越所有其他開源 LLM,這還是在沒有即將推出的 4050 億參數模型的情況下。

圖片.png

此外,一些專傢現在認為,GPT-5 必須改變"原始課程",其中包括利用"不完善的人類對話"和整體"幼稚"的訓練過程。這與我們最初的觀點不謀而合,即 OpenAI 很可能會在今年發佈一個迭代的 GPT-4.5 模型,而不是在 GPT-5 中徹底改變賭註。


相關推薦

2024-03-27

GIFeltSteam表示,傳說中的AGI,是Arrakis以外的東西。但是,為什麼我們能在這麼短的時間裡,訓練出一個125萬億參數的模型呢?理論上來說,如果訓一個1.75萬億參數模型需要4-5個月,那麼如果訓練一個大百倍的模型,應該需要幾

2023-04-14

取代。有人告訴我,GPT-5計劃於今年12月完成培訓,並且OpenAI期望它實現AGI。它是否能實現AGI?毫無疑問,會發生一場激烈的討論。它會。另外,Siqi Chen還透露,有部分OpenAI員工期望,GPT-5能與人類的能力對齊。在和網友的辯論中

2023-04-15

讓我們看看,目前網上流出的3分鐘視頻裡,Altman究竟說什麼。對聯名信首次表態此前,圖靈獎得主Yoshua Bengio、蘋果創始人、馬斯克等全球大佬聯合起來簽署公開信,對GPT-5發出圍剿。現在,簽名人數已經突破2.5萬。隨後,另一

2023-03-29

我不同意這個前提。”另外,簽名中還出現一個所謂的“OpenAi CEO”,但根據馬庫斯和一眾網友的推測,應該不是本人簽的名。整件事非常撲朔迷離。截止發稿前,他還特地@一下Sam Altman確認消息。大佬聯名:叫停比GPT-4強的AI公

2023-03-29

地令人興奮又令人恐懼,因為我們無法理解 AGI 將能夠做什麼。 雖然 GPT-5 可以使 ChatGPT 與人類無法區分,但它仍然會超出人類思維處理數據和生成內容的能力。GPT-4 升級為 ChatGPT 提供比以前版本更大的新功能,使聊天機器人成

2024-03-02

展的人們,與馬斯克一道,一開始最關心“Ilya到底看到什麼”。後來漸漸又添上一個“Ilya去哪,他又在做什麼”。任何與OpenAI相關的風吹草動,都在反復提醒著人們Ilya的缺席。每當有後續技術Q*、GPT-4.5、GPT-5的消息傳出,都有

2023-04-15

4月14日消息,OpenAICEO薩姆·奧爾特曼(SamAltman)最近確認,公司目前沒有在訓練GPT-5,而且“短期內也不會訓練”。OpenAI今年三月發佈的大語言模型GPT-4,GPT-5被認為是其繼任者。最近在科技界流傳的一封公開信,要求像OpenAI這樣的

2024-01-31

名爆料者傳來突發消息,GPT-4.5版本已被取消。這意味著OpenAI要直接跳到GPT-5,不過據業內人士判斷不會早於今年第二季度。跳過一整個版本的原因,或許是OpenAI感受到來自競爭對手越來越多的壓力,GPT-4.5的升級幅度已經不再能

2023-03-16

現在就該開始思考,哪些技能AI無法取代,我們應該學習什麼知識和技能,以保持身為“人類”的不可替代性。相比於GPT-3和GPT-3.5,GPT-4的智力更強,更不易出錯,這顯然有利於商業落地,而新增的圖片識別功能則給OpenAI找到更

2024-02-11

mini的表現非常出色。相比針對特定軟件的微軟Copilots或者OpenAI嘗試打造的無需人工幹預就能自主完成任務的全能agents,Gemini的表現更像是合格的人類助手。他指出,早先的Bard與Google生態的聯動已經做得很好,隻是Bard實在“笨得

2023-11-05

者大會就要來到。凡事沒有不透風的墻,關於 OpenAI 要發什麼還是有爆料消息,引發網友的熱議。消息源來自 X 用戶 CHOI,他表示 OpenAI 將公佈 ChatGPT 的重大更新,包括全新的界面以及一些新功能:自定義聊天機器人、與Google和微

2024-03-05

馬斯克的一紙訴狀再次將OpenAI推上風口浪尖,或許還把GPT-5的發佈時間推遲。具體詳情可回顧先前的文章,這場官司的焦點主要歸納為以下幾個方面:OpenAI 的開源承諾和實際行動之間的矛盾:OpenAI 與微軟的合作是否背離其最初

2024-03-07

文章喂給大模型,提問“在舊金山能做的最有意思的事是什麼?”。當時最先進模型GPT-4和Claude 2.1成績都還不理想,更別提知道自己在被測試。AnthropicAI團隊當時看到這個測試後,找到一種巧妙的辦法來修復錯誤,修復後Claude 2.1

2024-03-06

今天AI界的“炸圈”新聞,當屬OpenAI勁敵Anthropic推出Claude3系列模型,真正做到與GPT-4全面掰手腕。要知道,從OpenAI去年3月發佈“最強大模型”GPT-4到今天,整整一年來,這是第一款真正挑戰到其天花板地位的模型,不僅評測成績