英偉達最快將從9月開始大量購買12層HBM3E內存,這些內存將由三星電子獨傢供貨。在GTC2024上,黃仁勛曾在三星電子的12層HBM3E實物產品上留下"黃仁勛認證(JENSENAPPROVED)"的簽名。
而SK海力士因部分工程問題,未能推出12層HBM3E產品,但計劃從本月末開始批量生產8層HBM3E產品。
今年2月27日,三星電子官宣成功開發出業界首款36GB 12H(12層堆疊)HBM3E DRAM內存。
據介紹,HBM3E 12H能夠提供高達1280GB/s的帶寬和迄今為止最大的36GB容量,相比於8層堆疊的HBM3 8H,在帶寬和容量上提升超過50%。
同時相比於8層堆疊,其AI訓練速度平均提高34%,同時推理服務用戶數量也可增加超過11.5倍。
在此前的GTC2024大會上,英偉達正式發佈B200和GB200系列芯片。
據黃仁勛介紹,B200擁有2080億個晶體管,采用臺積電4NP工藝制程,可以支持多達10萬億個參數的AI大模型,還通過單個GPU提供20 petaflops的AI性能。