11月10日,近日有消息稱,芯片巨頭英偉達(NVIDIA)將基於H100推出三款針對中國市場的AI芯片,以應對美國最新的芯片出口管制。規格文件中顯示,英偉達即將向中國客戶推出新產品分別名為HGXH20、L20PCle、L2PCle,基於英偉達的Hopper和AdaLovelace架構。
從規格和命名來看,三款產品針對的是訓練、推理和邊緣場景,最快將於11月16日公佈,產品送樣時間在今年11月至12月,量產時間為今年12月至明年1月。
鈦媒體App從多位英偉達產業鏈公司解到,上述消息屬實。英偉達的這三款 AI 芯片並非“改良版”,而是“縮水版”。其中,用於 AI 模型訓練的HGX H20在帶寬、計算速度等方面均有所限制,理論上,整體算力要比英偉達 H100 GPU芯片降80%左右,即H20等於H100的20%綜合算力性能,而且增加HBM顯存和NVLink互聯模塊以提高算力成本。所以,盡管相比H100,HGX H20價格會有所下降,但預計該產品價格仍將比國內 AI 芯片910B高一些。
“這相當於將高速公路車道擴寬,但收費站入口未加寬,限制流量。同樣在技術上,通過硬件和軟件的鎖,可以對芯片的性能進行精確控制,不必大規模更換生產線,即便是硬件升級,性能仍然可以按需調節。目前,新的H20已經從源頭上‘卡’住性能。”一位行業人士這樣解釋新的H20芯片,“比如,原先用H100跑一個任務需要20天,如今H20再跑可能要100天。”
盡管美國發佈新一輪芯片限制措施,但英偉達似乎並沒有放棄中國巨大的 AI 算力市場。
那麼,國產芯片是否可以替代?經過測試,目前在大模型推理方面,國內 AI 芯片910B僅能達到A100的60%-70%左右,集群的模型訓練難以為繼;同時,910B在算力功耗、發熱等方面遠高於英偉達A100/H100系列產品,且無法兼容CUDA,很難完全滿足長期智算中心的模型訓練需求。
截止目前,英偉達官方對此並未做出任何評論。
據悉,今年10月17日,美國商務部工業和安全局(BIS)發佈針對芯片的出口管制新規,對包括英偉達高性能AI芯片在內的半導體產品施加新的出口管制;限制條款已經於10月23日生效。英偉達給美國SEC的備案文件顯示,立即生效的禁售產品包括A800、H800和L40S這些功能最強大的AI芯片。
另外,L40和RTX 4090芯片處理器保留原有30天的窗口期。
10月31日曾有消息稱,英偉達可能被迫取消價值50億美元的先進芯片訂單,受消息面影響,英偉達股價一度大跌。此前,英偉達為中國專供的A800和H800,由於美國新規而無法正常在中國市場銷售,而這兩款芯片被稱為A100及H100的“閹割版”,英偉達為符合美國之前的規定而降低芯片性能。
10月31日,中國貿促會新聞發言人張鑫表示,美方新發佈的對華半導體出口管制規則,進一步加嚴人工智能相關芯片、半導體制造設備對華出口的限制,並將多傢中國實體列入出口管制“實體清單”。美國這些措施嚴重違反市場經濟原則和國際經貿規則,加劇全球半導體供應鏈撕裂與碎片化風險。美國自2022年下半年開始實施的對華芯片出口禁令正在深刻改變全球供需,造成2023年芯片供應失衡,影響世界芯片產業格局,損害包括中國企業在內的各國企業的利益。
英偉達HGX H20、L20、L2與其他產品的性能參數對比
鈦媒體App解到,新的HGX H20、L20、L2三款 AI 芯片產品,分別基於英偉達的Hopper和Ada架構,適用於雲端訓練、雲端推理以及邊緣推理。
其中,後兩者L20、L2的 AI 推理產品有類似的“國產替代”、兼容CUDA的方案,而HGX H20是基於H100、通過固件閹割方式 AI 訓練芯片產品,主要替代A100/H800,國內除英偉達,模型訓練方面很少有類似國產方案。
文件顯示,新的H20擁有CoWoS先進封裝技術,而且增加一顆HBM3(高性能內存)到96GB,但成本也隨之增加240美元;H20的FP16稠密算力達到148TFLOPS(每秒萬億次浮點運算),是H100算力的15%左右,因此需要增加額外的算法和人員成本等;NVLink則由400GB/s升級至900GB/s,因此互聯速率會有較大升級。
據評估,H100/H800是目前算力集群的主流實踐方案。其中,H100理論極限在5萬張卡集群,最多達到10萬P算力;H800最大實踐集群在2萬-3萬張卡,共計4萬P算力;A100最大實踐集群為1.6萬張卡,最多為9600P算力。
然而,如今新的H20芯片,理論極限在5萬張卡集群,但每張卡算力為0.148P,共計近為7400P算力,低於H100/H800、A100。因此,H20集群規模遠達不到H100的理論規模,基於算力與通信均衡度預估,合理的整體算力中位數為3000P左右,需增加更多成本、擴展更多算力才能完成千億級參數模型訓練。
兩位半導體行業專傢向鈦媒體App表示,基於目前性能參數的預估,明年英偉達B100 GPU產品很有可能不再向中國市場銷售。
整體來看,如果大模型企業要進行GPT-4這類參數的大模型訓練,算力集群規模則是核心,目前隻有H800、H100可以勝任大模型訓練,而國產910B的性能介於A100和H100之間,隻是“萬不得已的備用選擇”。
如今英偉達推出的新的H20,則更適用於垂類模型訓練、推理,無法滿足萬億級大模型訓練需求,但整體性能略高於910B,加上英偉達CUDA生態,從而阻擊在美國芯片限制令下,國產卡未來在中國 AI 芯片市場的唯一選擇路徑。
最新財報顯示,截至7月30日的一個季度內,英偉達135億美元的銷售額中,有超過85%份額來自美國和中國,隻有大約14%的銷售額來自其他國傢和地區。
受H20消息影響,截至美股11月9日收盤,英偉達股價微漲0.81%,報收469.5美元/股。近五個交易日,英偉達累漲超過10%,最新市值達1.16萬億美元。