快科技7月24日消息,在生成式AI領域,推出ChatGPT的OpenAI是處於領先地位的,他們的GPT-4已經是萬億參數級別,還在訓練更先進的GPT-5,屆時又會在技術水平上甩開國內的追趕者。
OpenAI能夠領先,先進AI顯卡用到的GPU是功不可沒的,背靠微軟這棵大樹,他們在算力資源上不會受到限制,GPT-4的訓練就使用2萬張NVIDIA的AI顯卡訓練。
但是萬張顯卡級別的算力還不是終點,今年也投身AI創業的前搜狗CEO王小川日前在采訪中透露OpenAI的動向,提到後者正在做更先進的訓練方法,設計能夠將1000萬張GPU連在一起的計算模型。
1000萬張GPU是什麼概念?目前NVIDIA每年的產量也就是100萬塊GPU(應該主要是指AI方面的GPU),OpenAI的規模相當於10倍於NVIDIA年產能的水平。
王小川稱OpenAI的1000萬張GPU算力的目標是登月級別的計劃,顯然認為它很偉大。
不說這些GPU顯卡能不能生產出來,購買花費多少,光是1000萬張顯卡互聯的難度都是不可想象的,OpenAI要是做到就真的無敵於天下。
不過這也非常讓人懷疑OpenAI是否表達錯,還是王小川聽來的投行報告寫錯,從幾萬張GPU到1000萬張GPU的互聯難度可不是一個級別的。