近日市場傳言說國內互聯網大廠對於NVIDIAH20訂單未來可能大幅砍單。傳聞稱,主要是因有要求部分購買H20的企業要報備,需備註使用說明不用其他方案的原因”,從而擔憂H20會被砍單。這一消息似乎也影響NVIDIA的股價。上周五NVIDIA股價破新高974美元後劇烈回調,單日從大漲5%至大跌5%,雖然主要是主要受期權影響,但一定程度上也可能與此相關。
近期,有機構對於此時采訪對於NVIDIA市場部的領導進行訪談。具體答復如下:
Q:H20組成集群的性能與Ascend 910的比較?
A:服務器卡間瓶頸,服務器間瓶頸。卡間互聯910的互聯帶寬是H20的一半,卡間互聯性能下降一半。
服務器間互聯,NVIDIA有一分半IB交換機,沒有替代解決方案。國內是400、800G集群交換機,算力損耗比較大。
Q:H20的NVLINK是900GB/s,H800隻是400GB/s,可以達到嗎?
A:NVLINK對NV不是高端的,很成熟,H系列都可以支撐。
網絡帶寬支撐這麼大,可以買更多的卡達到,NVLINK的傳輸速度可以領先的。異騰達不到的,現在是400G,8卡一連就是200。
Q:近日是否有中國的訂單大量砍單的情況?
A:截止昨日,H20的中國訂單一直穩定,市場部尚未接到大量砍單的現象。
Q:請領導介紹一下H20的優勢和劣勢?
A:NVIDIA作為全球AI芯片的領導者,無論在硬件上還是在軟件生態上都是最成熟的。H20是高緩存、高帶寬,但是算力性能差,這主要是禁令的要求和限制。
H20卡算力性能與910相比差一些,但是,緩存與帶寬遠比910高,帶寬是910兩倍。
NV有NVLINK架構,H20可以是通過多卡使用、多卡堆疊模式,完全超越910,甚至突破H100。
Q:中國市場的業務拓展情況?
A:H20就是為中國推出的定制版,公司十分重視中國市場,已經啟動H20的推廣,委托中國國內最強的技術團隊,屆時,現場有千臺H20組網集群,大傢一定會看到非常震撼的效果。
NVIDIA近況交流要點:
H20:
1)專供國內的訓練卡,目前已確定數量在40w張左右,隨著國內互聯網等企業對該卡的接受度增加,有較大提升空間;
2)價格下降,1月份定價為2.3-2.5w美元,2月份下降至1.2-1.4w美元,主要系910b的壓力;
3)單卡性能為910b的60%+,單卡算力為H100的20%;
4)集群性能優越,主要受益於NVIDIA NVLINK技術。
B100:
1)目前市面上最高端的訓練卡,性能為H100的三倍多;
2)24年7月份開始小批量供應,25年起起量供應成為主力訓練卡;
3)按照H100算力和客戶價格接受度預測在3.6-3.9w美金之間,不會超過4w美元;
4)分為低算力/高算力兩種,對應散熱方式是風能/液冷, 占比60%液冷+ 40%風能。
NVIDIA25年及以後:
1)25年訓練卡的總量約為500w張,推測b100/h200/h100分別為200w/100w/100w;
2)23年至25年,NVIDIA訓練卡將處於高峰期。預計在26年,隨著AI應用廣泛存在,AI服務器的增速將逐漸平緩。這一趨勢將促使通用服務器逐漸擺脫AI服務器的沖擊,並扭轉之前的負增長態勢。預計在27年,通用服務器市場將恢復正增長。
格局變化:
1)預計在27年,通用服務器市場將恢復正增長。
2)AI服務器代工無影響,推理+訓練此消彼長,總量不變;
3)可能影響卡的代工廠商,訓練卡25年增速放緩,其代工廠尋求其他產能合作。