八路並聯1.1TB HBM3e高帶寬內存 NVIDIA奉上全新HGX H200加速器


NVIDIAGPU已經在AI、HPC領域遙遙領先,但沒有最強,隻有更強。現在,NVIDIA又發佈全新的HGXH200加速器,可處理AIGC、HPC工作負載的海量數據。NVIDIAH200的一大特點就是首發新一代HBM3e高帶寬內存(疑似來自SK海力士),單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽一點點),同時帶寬多達4.8TB/s。

對比H100,容量增加76%,帶寬增加43%,而對比上代A100,更是容量幾乎翻番,帶寬增加2.4倍。

得益於NVLink、NVSwitch高速互連技術,H200還可以四路、八路並聯,因此單系統的HBM3e內存容量能做到最多1128GB,也就是1.1TB。

隻是相比於AMD Instinct MI300X還差點意思,後者搭載192GB HBM3,帶寬高達5.2TB/s。

性能方面,H200再一次實現飛躍,700億參數的Llama2大語言模型推理性能比H100提高多達90%,1750億參數的GTP-3模型推理性能也提高60%,而對比前代A100 HPC模擬性能直接翻番。

八路H200系統下,FP8深度學習計算性能可以超過32PFlops,也就是每秒3.2億億次浮點計算,堪比一臺大型超級計算機。

隨著未來軟件的持續升級,H200還有望繼續釋放潛力,實現更大的性能優勢。

此外,H200還可以與采用超高速NVLink-C2C互連技術的NVIDIA Grace CPU處理器搭配使用,就組成GH200 Grace Hopper超級芯片,專為大型HPC、AI應用而設計的計算模塊。

NVIDIA H200將從2024年第二季度開始通過全球系統制造商、雲服務提供商提供。


相關推薦

2024-03-07

從而超過192GB HBM3內存的AMD Instinct MI300X。H200還支持四路、八路互連,因此單系統的HBM3E內存容量可以達到864GB、1728GB!按照慣例,NVIDIA可能會出於良品率的考慮,屏蔽一小部分容量,但是單卡超過200GB、單系統超過1.6TB必然是很輕

2023-11-14

200 GPU配備美光的HBM3e顯存解決方案,容量最高可達141 GB,帶寬達4.8 TB/s,與NVIDIAA100相比帶寬增加2.4倍,容量增加一倍。在Llama 2(700億參數LLM)等應用中,這種新的內存解決方案使英偉達的人工智能推理性能比H100 GPU提高近一倍。

2023-12-07

今年6月份,AMD在美國舊金山宣佈新一代AI/HPC加速器InstinctMI300系列,包括全球首款APU加速器MI300A、新一代GPU加速器MI300X。當時,AMD隻公佈一部分技術細節,對於CPU/GPU核心數量、性能/功耗/能效等指標均未提及,也缺乏足夠多的應

2024-03-23

光的另一種叫法,HBM3Gen2)是首批獲得英偉達最新H200/GH200加速器認證的內存之一,因此這傢DRAM制造商似乎將成為這傢處於風口上的公司的重要供應商。美光公司首席執行官 Sanjay Mehrotra 在本周財報電話會議的準備發言中表示:&qu

2022-08-23

緩存、128GB HBM2e高帶寬內存,支持PCIe 5.0,可以四路甚至八路並聯。Intel給出的最新數據聲稱,Ponte Vecchio FP32單精度、FP64雙精度性能可達52TFlops,TF3.2浮點性能可達419TFlops,BF16、PF16浮點性能可達839TFlops,INT8整數性能則可達1678Tops

2024-03-08

位。SK 海力士被 NVIDIA 公司選中為其制定標準的人工智能加速器提供 HBM,從而將這傢韓國公司的價值推高至 119 萬億韓元。周四,該公司股價在首爾上漲約 1%,自 2023 年初以來已上漲近 120%。該公司目前是韓國第二大市值公司,

2024-06-04

325X更是繼承這一優良傳統。這款芯片不僅搭載先進的HBM3E高帶寬存儲技術,還采用全新的CDNA3架構,確保其在性能上的卓越表現。在性能方面,MI325X堪稱行業翹楚。它配備高達288GB的HBM3E存儲,能夠提供每秒6TB的驚人帶寬。與英偉

2024-02-27

HBM3E 設備,每個設備的數據傳輸速率為 9.2 GT/s,峰值內存帶寬超過 1.2 TB/s。與 HBM3 相比,HBM3E 將數據傳輸速率和峰值內存帶寬提高 44%,這對於像 NVIDIA 的 H200 這樣對帶寬要求極高的處理器尤為重要。NVIDIA 的 H200 產品采用 Hopper 架

2023-11-15

偉達剛剛宣佈推出名為H200的新芯片,該芯片將能夠利用高帶寬內存(HBM3e),更好地處理開發和實施人工智能所需的大型數據集。沃爾夫研究公司分析師克裡斯·卡索在(Chris Caso)一份報告中寫道:“過去,英偉達並未更新過之

2023-04-11

MB二級緩存、128GB HBM高帶寬內存,最高功耗600W,最多八卡並聯。本次取消的是次級型號Max 1350,112核心,96GB內存,450W功耗。它下邊還有個Max 1100,56核心,48GB內存,300W功耗,最多四卡並聯。Intel表示,Max 1550原本是針對液冷設計

2024-02-13

有72個ARM內核(也有144核的版本),配有專用的NVIDIA H100加速器,因此配備雙2000W電源和超大容量存儲,支持各種連接擴展選項(包括 NVIDIA Bluefield / Connect-X)。這款PC的散熱系統使用的是貓頭鷹風扇,附加組件,可選Nvidia Bluefield-

2024-03-20

入BlueField-3 DPU數據處理單元,而每顆GPU都能獲得1.8TB/s的高帶寬。第四代可擴展分層聚合和規約協議(SHARP)技術,可提供14.4TFlops的網絡計算能力,比上代提升4倍。此外,NVIDIA還發佈第六代通用AI超級計算平臺“DGX B200”,包含兩顆I

2024-02-27

inaZ.com) 2月27日 消息:三星電子於周二宣佈研發出一款全新高帶寬內存芯片,被譽為行業內“容量最大”產品。這款名為HBM3E12H的芯片據稱“性能和容量均提升超過50%”。三星表示:“行業的AI服務提供商對更高容量的HBM需求日益增

2024-04-03

)屬於DRAM(動態隨機存取存儲器)中的一個類別,具有高帶寬、大容量、低延遲的DDR DRAM組合陣列。AI時代,算力可以輕松破T(TOPS,每秒萬億次運算),但存儲器帶寬破T(TB/s,每秒萬億字節帶寬)則異常艱難。在需要高算力又