推理性能飆升1.5倍！微軟瘋狂下單GB200芯片提升其AI算力

，這兩款芯片還是互相兼容的。這意味著，使用H100訓練/推理模型的企業，可以無縫更換成最新的H200。全世界的AI公司都陷入算力荒，英偉達的GPU已經千金難求。英偉達此前也表示，兩年一發佈的架構節奏將轉變為一年一發佈。

NVLink互聯等技術，對比相同數量H100 Tensor核心的系統，在推理上有高達30倍的性能提升，並將成本和能耗降低25倍。在AI應用方面，英偉達推出Project GR00T機器人基礎模型及Isaac機器人平臺的重要更新。英偉達展示其AI芯片的算力在

ron框架中的先進動態范圍管理算法，從而在新型4位浮點AI推理能力下實現算力和模型大小的翻倍。其他還有RAS可靠性專用引擎、安全AI、解壓縮引擎等。至於功耗，B100控制在700W，和上代H100完全一致，B200則首次達到1000W。NVIDIA宣

直維持在高位，但隨著大模型訓練成熟，逐漸進入大規模推理部署階段，將不得不面對性價比的問題。推理場景中，算力成本至關重要，事實上目前各個大模型廠商也均在探索更高性價比的推理方案。譬如使用GDDR或LPDDR等方案獲

美國人工智能初創公司Groq最新推出的面向雲端大模型的推理芯片引發業內的廣泛關註。其最具特色之處在於，采用全新的TensorStreamingArchitecture(TSA)架構，以及擁有超高帶寬的SRAM，從而使得其對於大模型的推理速度提高10倍以上，

而 GB200 將兩個 GPU 和一個 Grace CPU 結合在一起，可為 LLM 推理工作負載提供 30 倍的性能，同時還可能大大提高效率。NVIDIA 表示，與 H100 相比，它的成本和能耗"最多可降低 25 倍"。NVIDIA 聲稱，訓練一個 1.8 萬億個參數的模

言模型，無論是中等還是大型內核，都可以領先10-20％。推理性能，都是八路並聯的整套服務器，1760億參數模型Bloom的算力可領先多達60％，700億參數模型Llama 2的延遲可領先40％。訓練性能，同樣是八路服務器，300億參數MPT模型

flops的FP4計算能力，這是由其2080億個晶體管提供的。高效推理：當與Grace CPU結合形成GB200超級芯片時，它能在LLM推理工作負載上提供比單個GPU高出30倍的性能，同時在成本和能源消耗上比H100 GPU高出25倍。訓練能力：使用Blackwell GPU

芯片。3、沐曦，7nm GPU已流片沐曦（MetaX）的國產高性能AI推理GPU芯片設計研發。沐曦聯合創始人、CTO兼首席軟件架構師楊建博士日前接受媒體采訪，表示公司7nm GPU已經流片，不過支持遊戲功能的滿血GPU還要等到2025年。據悉，該

不到英偉達最新最快的GPU，也就意味著自己的模型訓練和推理速度，會落後於友商，自己會被甩下AI這輛高速列車。現在的競爭如此激烈，掉下來之後，再想擠上去，就不那麼容易。這也就意味著，英偉達的產品有可能長期處於

動、騰訊和阿裡巴巴等互聯網巨頭在爭相購買英偉達的高性能芯片，訂單總和價值高達50億美元，而沙特和阿聯酋被曝正在瘋狂下單”英偉達的AI芯片。

實現720 petaflops的AI訓練性能或1,440 petaflops（1.4 exaflops）的推理。與相同數量的72個H100相比，GB200 NVL72的性能絕對是逆天的存在，大模型推理性能可以提升30倍，並且成本和能耗隻有前者的1/25。當然，最炸裂的要數適用於 DGX GB200

使用微軟專門建設的AI計算系統，由1萬個V100 GPU組成的高性能網絡集群，總算力消耗約3640PF-days。龐大的算力要求推動AI芯片需求激增。中金公司表示，未來大模型趨勢下，AI芯片市場成長可期，在ChatGPT應用大規模商用初期，AI芯

生成式AI模型的強算力需求。新一代的Gaudi 3面向AI訓練和推理，升級為臺積電5nm工藝，帶來2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的網絡帶寬、1.5倍的內存帶寬。對比NVIDIA H100，它在流行LLM上的推理性能領先50％、訓練時間快40％。