盡管GPT-4目前在日益錯綜復雜的生成式人工智能世界中處於頂峰,但其競爭對手,包括Anthropic的Claude和Meta的開源Llama都在不斷進步,因此OpenAI的旗艦產品大型語言模型(LLM)有必要進行新一輪迭代。雖然不少人預計山姆-奧特曼的非營利組織將在2024年發佈GPT-5,但一些分析師現在斷言,這種預期仍然很牽強,尤其是考慮到所需的資源規模。
據人工智能安全中心(Center for AI Safety)主任丹-亨德裡克斯(Dan Hendrycks)稱,OpenAI 的 GPT LLM 每迭代一次,所需的計算資源就增加 10 倍。因此,如果 OpenAI 跳過 GPT-4.5,直接跳到 GPT-5,那麼計算需求將比 GPT-4 增加約 100 倍,相當於約 100 萬個 H100 芯片連續運行三個月。
Anthropic公司首席執行官達裡奧-阿莫代(Dario Amodei)最近指出,目前培養一名最先進的 LLM 需要花費約 10 億美元,預計到 2025/26 年,這一成本將激增到 50 億到 100 億美元之間。重要的是,10 億美元的培訓成本與 GPT-4.5 可以合理推斷出的 10 倍計算資源激增相吻合。
我們最近註意到,英偉達今年部署的 H100 設備預計年耗電量約為13000 GWh,相當於立陶宛和危地馬拉等國的年耗電量。到 2027 年,全球數據中心的耗電量預計將達到85 到 134 太瓦時(TWh)!
我們之前提到過,GPT-4 的競爭對手正在迅速迎頭趕上。Meta公司的Llama 3 LLM(700億參數)目前在Arena排行榜上排名前五。重要的是,Llama 3 現在已經超越所有其他開源 LLM,這還是在沒有即將推出的 4050 億參數模型的情況下。
此外,一些專傢現在認為,GPT-5 必須改變"原始課程",其中包括利用"不完善的人類對話"和整體"幼稚"的訓練過程。這與我們最初的觀點不謀而合,即 OpenAI 很可能會在今年發佈一個迭代的 GPT-4.5 模型,而不是在 GPT-5 中徹底改變賭註。