三星將首秀36GB HBM3E內存:NVIDIA H200單卡就有216GB


三星日前宣佈全球首款36GB超大容量的新一代高帶寬內存HBM3E,而在3月19日凌晨開幕的NVIDIAGTC2024技術大會上,三星將首次進行公開展示。三星HBM3E采用24Gb顆粒、12層堆疊(12H),從而將單顆容量做到史無前例的36GB,帶寬也提升至1280GB/s,相比前代8HHBM3容量、帶寬都提升50%,垂直密度則增加超過20%。

10f15520808642aeae55d70f4d59d51b.jpg

NVIDIA H200 AI加速卡將首發采用三星36GB HBM3E,隻需要八顆,就能達成6144-bit的位寬、216GB的容量,從而超過192GB HBM3內存的AMD Instinct MI300X。

H200還支持四路、八路互連,因此單系統的HBM3E內存容量可以達到864GB、1728GB!

按照慣例,NVIDIA可能會出於良品率的考慮,屏蔽一小部分容量,但是單卡超過200GB、單系統超過1.6TB必然是很輕松的。

按照NVIDIA的說法,H200雖然還是Hopper架構,但相比H100再次飛躍,700億參數Llama2、1750億參數GTP-3模型的推理性能分別提升多達90%、60%,對比前代A100 HPC模擬性能直接翻番。

NVIDIA H200計劃2024年第二季度出貨,三星36GB HBM3E則會在第一季度投入量產,正好趕得上。


相關推薦

2024-02-27

下來將用於何處還有待觀察。領先於競爭對手 SK Hynix 和三星開始量產 HBM3E 內存是美光公司取得的一項重大成就,目前美光公司在 HBM 領域占據 10% 的市場份額。此舉對該公司至關重要,因為它使美光能夠比競爭對手更早推出高端

2023-11-14

海量數據。NVIDIAH200的一大特點就是首發新一代HBM3e高帶寬內存(疑似來自SK海力士),單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽一點點),同時帶寬多達4.8TB/s。對比H100,容量增加76%,帶寬增加43%,而對比上代A100,更是

2023-11-29

場研究,NVIDIA準備將其HBM訂單的相當一部分交給韓國巨頭三星,因為兩傢公司都開始建立對人工智能行業至關重要的業務關系。早在9月份就有消息稱,三星的HBM產品已通過多項資質審核,獲得NVIDIA的信任,集邦科技目前透露,

2024-01-02

HPC GPU因為發佈後庫存不足而掉鏈子。業內人士還透露,三星電子、SK 海力士、美光三大存儲公司明年的HBM產能已完全售罄。根據現有爆料信息,英偉達正準備推出兩款配備HBM3E內存的產品:配備141GB HBM3E的H200 GPU、以及GH200超級芯

2024-04-03

始,但旗下的HBM已全部售罄。當存儲三巨頭(SK海力士、三星、美光科技)圍繞HBM進行升級、擴產的那一刻,意味著蟄伏十年之久、發展至第六代的HBM終於甩去“成本高昂”的束縛,以強悍性能步入存儲市場,攪動風雲:SK海力

2023-11-27

供應鏈管理,英偉達正規劃加入更多的HBM供應商。其中,三星的HBM3(24GB)預期於今年12月在NVIDIA完成驗證。之前英偉達的HBM由SK海力士獨傢供應,如今三星、美光都將加入。這也意味著,三傢存儲龍頭都將為英偉達供應HBM。而HBM

2024-03-11

00億韓元,本月股價漲超10%,達到171900韓元/股的新高。而三星則與SK海力士的強勁表現形成鮮明對比,本月股價略微下跌0.14%,年內跌近7%。外資大幅拋售三星電子,1月份三星曾是最受外資歡迎的股票,到2月份卻跌至第七位,而

2024-04-24

據韓國媒體報道,三星電子已與AMD簽署一項4.134萬億韓元(約合30億美元)的協議,為其提供12層高的HBM3E堆棧。AMD在其基於CDNA架構的人工智能和高性能計算加速器中使用HBM堆棧。這筆交易意義重大,因為如果分析師知道內存堆棧

2024-03-23

作為首傢出貨HBM3E內存的公司,美光透露,其先進的高帶寬內存(2024年)已經全部售罄,而2025年的大部分產量也已分配完畢。美光的HBM3E內存(或美光的另一種叫法,HBM3Gen2)是首批獲得英偉達最新H200/GH200加速器認證的內存之一

2024-02-27

三星2月27日宣佈開發出業界首款12層堆疊HBM3E12H高帶寬存儲芯片,這也是迄今為止容量最高的HBM產品,達36GB,帶寬高達1280GB/s。與8層堆疊HBM3產品相比,這款新品在容量、帶寬方面都提高50%以上,可顯著提高人工智能(AI)訓練、

2024-03-08

智能開發中關鍵組件(高帶寬內存)不斷增長的需求。前三星電子公司工程師、現任SK海力士封裝開發負責人LeeKang-Wook表示,這傢總部位於利川的公司今年將在韓國投資超過10億美元,以擴大和改進其芯片制造的最後步驟。該工

2023-11-14

0HopperGPU,該GPU現在配備美光公司生產的世界上最快的HBM3e內存。除新的人工智能平臺,NVIDIA還宣佈其GraceHopper超級芯片在超級計算機領域取得重大勝利,該芯片現在為ExaflopJupiter超級計算機提供動力。NVIDIA的H100 GPU是迄今為止業界

2024-03-07

過10億美元,用於擴大和改進其芯片制造的最後步驟,前三星電子工程師、現任SKHynix封裝開發主管的LeeKang-Wook說。該工藝的創新是HBM作為最受歡迎的人工智能內存的核心優勢所在,進一步的進步將是降低功耗、提高性能和鞏固公

2024-06-04

有MI300系列芯片快出驚人的35倍。此前有傳聞稱AMD將采用三星的3nm制程技術,蘇姿豐在COMPUTEX現場明確表示,臺積電是AMD的堅實合作夥伴,雙方目前已有多個3nm制程產品合作項目。