黃仁勛拋出2700W功耗的真核彈 還有240TB顯存的AI超級計算機


今天凌晨,黃仁勛正式拿出新一代BlackwellGPU架構,以及基於此的B100/B200GPU芯片、GB200超級芯片、DGX超級計算機,再次將“戰術核彈”提升全新的境界,傲視全球。

Blackwell B200 GPU首次采用chiplet晶粒封裝,包含兩顆B100,而B200之間再通過帶寬翻倍達1.8TB/s的第五代NVLink 5總線互連,最多可連接576塊。

B100采用專門定制的臺積電4NP工藝制造(H100/RTX 40 4N工藝的增強版),已經達到雙倍光刻極限尺寸,彼此通過10TB/s帶寬的片間互聯帶寬,連接成一塊統一的B200 GPU。

B100集成多達1040億個晶體管,比上代H100 800億個增加足足30%,B200整體就是2080億個晶體管。

核心面積未公佈,考慮到工藝極限應該不會比814平方毫米的H100大太多。

CUDA核心數量也沒說,但肯定會大大超過H100 16896個,不知道能不能突破2萬個?

每顆B100連接四顆24GB HBM3E顯存/內存,等效頻率8GHz,位寬4096-bit,帶寬達4TB/s。

如此一來,B200就有多達192GB HBM3E,總位寬8096-bit,總帶寬8TB/s,相比H100分別增加1.4倍、58%、1.4倍。

性能方面,B200新增支持FP4 Tensor數據格式,性能達到9PFlops(每秒9千萬億次),INT/FP8、FP16、TF32 Tensor性能分別達到4.5、2.25、1.1PFlops,分別提升1.2倍、1.3倍、1.3倍,但是FP64 Tensor性能反而下降40%(依賴GB200),FP32、FP64 Vector性能則未公佈。

Blackwell GPU還支持第二代Transformer引擎,支持全新的微張量縮放,在搭配TensorRT-LLM、NeMo Megatron框架中的先進動態范圍管理算法,從而在新型4位浮點AI推理能力下實現算力和模型大小的翻倍。

其他還有RAS可靠性專用引擎、安全AI、解壓縮引擎等。

至於功耗,B100控制在700W,和上代H100完全一致,B200則首次達到1000W。

NVIDIA宣稱,Blackwell GPU能夠在10萬億參數的大模型上實現AI訓練和實時大語言模型推理。

GB200 Grace Blackwell是繼Grace Hopper之後的新一代超級芯片(Superchip),從單顆GPU+單顆CPU升級為兩顆GPU加一顆CPU,其中GPU部分就是B200,CPU部分不變還是Grace,彼此通過900GB/s的帶寬實現超低功耗片間互聯。

在大語言模型推理工作負載方面,GB200超級芯片的性能對比H100提升多達30倍。

不過代價也很大,GB200的功耗最高可達2700W,可以使用分冷,更推薦使用液冷。

基於GB200超級芯片,NVIDIA打造新一代的AI超級計算機“DGX SuperPOD”,配備36塊超級芯片,也就是包含36顆Grace CPU、72顆B200 GPU,彼此通過NVLink 5組合在一起,還有多達240TB HBM3E。

這臺AI超級計算機可以處理萬億參數的大模型,能保證超大規模生成式AI訓練和推理工作負載的持續運行,FP4精度下的性能高達11.5EFlops(每秒1150億億次)。

DGX SuperPOD還具有極強的擴展性,可通過Quantum-X800 InfiniBand網絡連接,擴展到數萬顆GB200超級芯片,並加入BlueField-3 DPU數據處理單元,而每顆GPU都能獲得1.8TB/s的高帶寬。

第四代可擴展分層聚合和規約協議(SHARP)技術,可提供14.4TFlops的網絡計算能力,比上代提升4倍。

此外,NVIDIA還發佈第六代通用AI超級計算平臺“DGX B200”,包含兩顆Intel五代至強處理器、八顆B200 GPU,具備1.4TB HBM3E、64TB/s帶寬,FP4精度性能144PFlops(每秒14億億次),萬億參數模型實時推理速度提升15倍。

DGX B200系統還集成八個NVIDIA ConnectX-7網卡、兩個BlueField-3 DPU高性能網絡,每個連接帶寬高達400Gb/s,可通過Quantum-2 InfiniBand、Spectrum?-X以太網網絡平臺,擴展支持更高的AI性能。

基於Blackwell GPU的產品將在今年晚些時候陸續上市,亞馬遜雲、戴爾、谷歌、Meta、微軟、OpenAI、甲骨文、特斯拉、xAI等都會采納。

亞馬遜雲、谷歌雲、微軟Azeure、甲骨文雲將是首批提供Blackwell GPU驅動實例的雲服務提供商,NVIDIA雲合作夥伴計劃的中的Applied Digital、CoreWeave、Crusoe、IBM Cloud、Lambda也將提供上述服務。

Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、甲骨文歐盟主權雲、甲骨文美國/英國/澳大利亞政府雲、Scaleway、新加坡電信、Northern Data Group旗下的Taiga Cloud、Yotta Data Services旗下的Shakti Cloud、YTL Power International 等主權AI雲,也將提供基於Blackwell架構的雲服務和基礎設施。


相關推薦

2023-03-22

技術盛會、一年一度的英偉達GTC大會如期而至!英偉達CEO黃仁勛(昵稱“老黃”)一如既往穿著標志性的皮衣進行78分鐘演講,滿面笑容地分享英偉達又悶聲幹哪些大事。總體來看,此次演講可總結成一大‘亮點’和一大‘重點

2023-11-30

11月30日消息,英偉達首席執行官黃仁勛周三在《紐約時報》的年度DealBook峰會上表示,人工智能正在超越人類。他指出,如果通用人工智能(AGI)被定義為一種計算機,能夠以與人類智能相媲美的方式完成測試,那麼“在接下來

2024-02-07

碩士學歷黃仁勛,剛剛當選美國工程院院士。以後他還是教主、老黃、“核武狂魔”,但也得尊尊敬敬地被叫一聲“黃院士”。作為美國工程師最高榮譽之一,今年(2024年)共新增114名新院士和21名國際院士。其中最受矚目的,

2022-09-25

好處就是減少GPU開銷,大幅提高幀率和響應速度。對此,黃仁勛非常堅持RTX 40系顯卡對AI技術的運用。他在媒體交流環節強調,Ada Lovelace架構是由CUDA、Tensor、RT等多種單元組成的統一體,雖然傳統的渲染和光柵化依然是靠CUDA實現

2024-02-24

最近,《連線》的記者采訪英偉達CEO黃仁勛。記者表示,與JensenHuang交流應該帶有警告標簽,因為這位NVIDIA首席執行官對人工智能的發展方向如此投入,以至於在經過近90分鐘的熱烈交談後,我(指代本采訪的記者,下同)確信

2023-01-25

英偉達(Nvidia)CEO黃仁勛(JensenHuang)今日表示,新興的人工智能(AI)技術將創造出一些強大的工具,需要我們進行適當地法律監管,還要制定一些新的社會標準。黃仁勛是人工智能領域最具代表性的人物之一,因為英偉達的

2023-11-14

而且,這還沒算上H200呢。贏麻,老黃真的贏麻!141GB超大顯存,性能直接翻倍!H200,將為全球領先的AI計算平臺增添動力。它基於Hopper架構,配備英偉達H200 Tensor Core GPU和先進的顯存,因此可以為生成式AI和高性能計算工作負載

2024-03-22

恨言論,暫停廣告投放。面對是否跟進的問題,英偉達CEO黃仁勛在一次全體員工會議上給出既堅定又充滿外交技巧的回應。他明確表示,英偉達已經很久沒有在X平臺上投放廣告,且目前無此計劃。同時,他強調英偉達不會公開

2023-08-10

已經來臨,屬於它的iPhone時刻到!就在8月8日,英偉達CEO黃仁勛,再次登上世界頂級計算機圖形學會議SIGGRAPH的舞臺。一系列重磅更新接踵而至——下一代GH200超級芯片平臺、AIWorkbench、OpenUSD……而英偉達也借此將過去這數十年的

2024-03-25

的科技盛宴本周在這裡上演。當地時間3月18日,英偉達CEO黃仁勛身著標志性的黑色皮夾克,登上萬人體育場,宛如一位搖滾巨星。“歡迎來到GTC大會。希望你們意識到這裡不是演唱會,而是一個開發者大會。”他在開場時不無幽

2024-02-13

國傢都要AI,數據中心將繼續飚NVIDIA 創始人兼首席執行官黃仁勛周一在迪拜舉行的世界政府峰會上對與會者表示,每個國傢都需要擁有自己的情報生產能力。黃在與阿聯酋人工智能部長艾爾·奧拉馬(Al Olama)閣下進行爐邊談話

2023-06-16

開英偉達的人工智能(AI)芯片,而英偉達的成功則離不開黃仁勛對AI的豪賭。早在十多年前,黃仁勛就賭定英偉達的計算機芯片可以成為AI的“大腦”。當黃仁勛第一次試用ChatGPT時,他讓這款聊天機器人寫一首關於英偉達的詩。“

2023-11-30

英偉達首席執行官黃仁勛周三表示,人工智能正在趕超人類。黃在DealBook峰會上表示,如果將人工智能(AGI)定義為能夠以與人類智能“相當競爭”的方式完成測試的計算機,那麼“在未來五年內,人工智能可以完成這些測試。

2024-02-02

英偉達公司CEO黃仁勛周四表示,世界各國都打算在國內建立和運行自己的人工智能基礎設施,這將推高對英偉達產品的需求。黃仁勛在一次采訪中表示,包括印度、日本、法國和加拿大在內的國傢都在談論投資“主權AI能力”的