谷歌首次公佈AI超級計算機技術細節 希望擺脫英偉達芯片依賴


谷歌研究人員當地時間4月4日在線發表一篇論文,首次公佈用於訓練人工智能模型的超級計算機的技術細節,並宣稱該系統比英偉達的超算系統更快且功耗更低。谷歌新發表的這篇題為《TPUv4:用於機器學習的光學可重構超級計算機,硬件支持嵌入》的文章介紹谷歌自己設計的定制TPU芯片。谷歌目前90%以上的人工智能訓練工作都使用這些芯片。


谷歌稱已經將4000多個TPU芯片連接成一臺超級計算機,這些芯片通過協同來訓練模型。目前各傢科技公司都在競爭AI超算系統,以支撐起人工智能大模型的算力。谷歌的AI聊天機器人Bard正在奮力追趕OpenAI的ChatGPT,這意味著大量的數據已經無法存儲在單個芯片上。

谷歌表示,其AI超級計算機可以輕松地動態配置芯片之間的連接,有助於提升超級計算機的性能。“電路切換將能更輕松地繞過故障組件。”谷歌研究員Norm Jouppi和谷歌傑出工程師David Patterson寫道,“這種靈活性甚至允許我們改變超級計算機互連的拓撲結構以加速機器學習模型。”

谷歌在論文中表示,對於同等大小的系統,其TPU芯片比基於英偉達A100芯片的系統快1.7倍,能效高1.9倍。不過谷歌沒有將其第四代TPU芯片與英偉達目前最新版的旗艦人工智能GPU芯片H100進行比較,H100擁有800億個晶體管,並采用更新的N4(4納米)芯片制造工藝。

谷歌還暗示,該公司正在開發下一代的TPU,將與H100競爭,但沒有提供任何細節。

而英偉達也在試圖通過使用AI來改進芯片設計,從而開發性能更強的GPU芯片。上周,英偉達在一篇論文中展示這種新的被稱為的AutoDMP的芯片“宏佈局”技術,通過AI來優化晶體管的佈局。

根據此前市場分析數據,在AI大模型方面,英偉達的A100占據約95%的市場份額。針對谷歌是否已經全面轉向使用自研芯片來訓練人工智能模型,英偉達未予評論。不過一位英偉達方面技術人士告訴第一財經記者:“谷歌同時使用英偉達的芯片和谷歌自己的芯片,很多時候競爭與合作是並存的。”

雖然谷歌現在才公佈有關其超級計算機的詳細信息,但自2020年以來,谷歌一直在公司內部位於俄克拉荷馬州梅斯縣的數據中心接入超算系統。 谷歌表示,AI圖像生成公司Midjourney也使用該系統訓練其模型。

“谷歌一直都在嘗試擺脫英偉達芯片的統治,但是這並沒有說起來那麼容易。”Gartner芯片分析師盛陵海對第一財經記者表示,“英偉達也是做幾十年才能夠坐穩現在的行業地位,谷歌的TPU目前還是自用為主。”


相關推薦

2023-04-05

4月5日消息,當地時間周二,Alphabet旗下的谷歌公開一些新細節,展示用於訓練人工智能模型的超級計算機,稱其比英偉達A100芯片的系統更快、更節能。谷歌公司設計自己的定制芯片,稱為TensorProcessingUnit(TPU),並將這些芯片應用

2023-06-16

司來說,他們都需要英偉達的芯片。目前,英偉達芯片是谷歌母公司Alphabet、亞馬遜和微軟所使用雲基礎設施的關鍵組成部分。去年,數據中心運營商在英偉達的批量訂單上總共花費150億美元。今年5月17日,黃仁勛在位於加州聖

2024-02-10

投資者以及臺積電談判專為大模型定制AI芯去年5月,Meta首次展示最新芯片系列——“Meta訓練和推理加速器”(MTIA),旨在加快並降低運行神經網絡的成本。MTIA是一種ASIC,一種將不同電路組合在一塊板上的芯片,允許對其進行

2024-03-22

兼研究科學傢克裡斯蒂安·塞格迪(Christian Szegedy)曾在谷歌工作,他和英偉達的數據科學傢博揚·通古茲(Bojan Tunguz)就如何利用英偉達的GPU加速其人工智能聊天機器人Grok的訓練和推理能力進行深入的對話。xAI另一位聯合創始

2023-11-14

包括萬眾矚目的H200、B100和“X100”GPU。而英偉達官方,也公佈官方的產品路線圖,將使用同一構架設計三款芯片,在明年和後年會繼續推出B100和X100。B100,性能已經望不到頭這次,英偉達更是在官方公告中宣佈全新的H200和B100,

2023-11-02

投資2.25億英鎊(合2.73億美元)研發一臺人工智能(AI)超級計算機,凸顯出英國在追趕美國等技術強國、成為該技術領域“領頭羊”的雄心。據悉,佈裡斯托爾大學將建造這臺名為Isambard-ai的超級計算機,以19世紀英國工程師Isam

2024-02-13

億美元,這意味著公司躍升為美國第四大市值公司,距離谷歌母公司Alphabet的1.87億美元市值也隻有一步之遙。媒體指出,上一次英偉達的市值超過亞馬遜是在 2002 年,當時兩傢公司的市值均低於 60 億美元。因為市場對強勁人工

2024-05-26

示,馬斯克於2023年7月創辦xAI,公司員工大多來自OpenAI、谷歌DeepMind、微軟、特斯拉等巨頭。去年11月,xAI宣佈推出Grok-1模型。

2024-02-17

NVIDIA發佈一段視頻,首次向公眾展示其最新的數據中心級超級計算機Eos,讓人們一窺為先進的AI設備供應商提供動力的架構。作為一臺超大規模的英偉達DGX超級計算機,Eos是NVIDIA開發人員利用加速計算基礎設施和全面優化的軟件

2023-03-22

hone時刻’已經到來”。據英偉達透露,OpenAI將在微軟Azure超級計算機上使用英偉達H100 GPU,AI文生圖明星創企Stability.ai是H100 GPU的早期訪問客戶。為加速生成式AI開發及部署,老黃宣佈推出3款全新推理GPU,分別擅長AI視頻、圖像生

2024-03-08

器總體上每個時鐘周期可以處理更多的值。然而,英特爾首次發佈的該芯片更多的是一個原型,並不能完全發揮其潛力——英偉達的產品運行速度更快,功耗更低,並被證明最終是優越的。這將成為 AMD、英特爾和 NVIDIA 之間三路

2024-02-02

ChatGPT等工具提供動力。他說,這個國傢現在發現自己對超級計算機的需求越來越大,這是利用其學術成果所必需的。黃仁勛幾個月來一直在談論各國及其公司需要將寶貴的數據和情報保留在本地。這種針對人工智能熱潮的國傢

2023-11-14

HBM3e內存。除新的人工智能平臺,NVIDIA還宣佈其GraceHopper超級芯片在超級計算機領域取得重大勝利,該芯片現在為ExaflopJupiter超級計算機提供動力。NVIDIA的H100 GPU是迄今為止業界需求量最大的人工智能芯片,但NVIDIA希望為客戶提供

2024-03-20

GPU的產品將在今年晚些時候陸續上市,亞馬遜雲、戴爾、谷歌、Meta、微軟、OpenAI、甲骨文、特斯拉、xAI等都會采納。亞馬遜雲、谷歌雲、微軟Azeure、甲骨文雲將是首批提供Blackwell GPU驅動實例的雲服務提供商,NVIDIA雲合作夥伴計