一個季度賺123億美元的英偉達,現在成許多半導體企業艷羨的對象,大傢頭一回發現,原來GPU利潤這麼高,甚至能撐起2萬億美元的市值,但英偉達真的會滿足於此嗎?英偉達CEO黃仁勛曾在2008年發表過感言,認為公司應該把研究客戶的需求,把解決客戶的問題放在第一位,而不是去關註對手,如果把精力放在如何從對手那裡把客戶搶過來,就會錯失開拓新客戶的機會。
16年之後,英偉達的CEO還是黃仁勛,雖然股價市值規模早已翻十數倍乃至上百倍,但在他的掌舵下,英偉達依舊走在不斷尋找新客戶的道路上。
據路透社報道,英偉達正在建立一個新的業務部門,專註於為雲計算公司和其他公司設計定制芯片,其中包括先進的人工智能處理器。
據其爆料,英偉達高管已經與亞馬遜、Meta、微軟、Google和OpenAI的代表會面,討論為他們生產定制芯片的事宜,除數據中心芯片外,英偉達還在尋求電信、汽車和視頻遊戲的客戶。
路透社的這份報道,意味著英偉達要以強勢姿態切入數據中心定制芯片市場,要在傳統的遊戲,新興的人工智能等領域之後開拓一片新的戰場。
那麼,英偉達為什麼要這麼做,它的勝算又有幾何呢?
定制雙雄
從2020年開始,自研和定制成為半導體行業的熱門詞,從蘋果發佈M1芯片開始,似乎每個廠商都在嘗試自研芯片,以此來獲得成本上的優勢。
但對於超大規模數據中心企業(Hyperscaler)公司來說,他們對於硬件和軟件都有接近完全的掌控力,非常適合開發自己專屬的SoC,而他們在這方面的研究也確實要早的多,定制化芯片初期最大的推動因素,就是來自這些企業對AI,以及雲端計算的龐大需求。”
早些年靠AlphaGo一炮而紅的Google,就是定制化芯片的先行者。
2013年,Google AI負責人Jeff Dean經過計算後發現,如果有1億Android用戶每天使用手機語音轉文字服務3分鐘,其中消耗的算力就是Google所有數據中心總算力的兩倍,而全球Android用戶遠不止1億。
此時Google已經意識到,光靠通用的CPU和GPU已經無法滿足未來的龐大計算需求,而出路就是選擇定制芯片,為此,它定下一個目標:針對機器學習這一目的來構建特定領域計算架構(Domain-specific Architecture),還要將深度神經網絡推理的總體擁有成本(TCO)降低至原來的十分之一。
2016年的Google I/O開發者大會上,Google首席執行官Sundar Pichai正式向世界展示TPU這一自研成果,初代TPU 采用 28 納米工藝制造,運行頻率為 700MHz,運行時功耗為 40W,Google將處理器包裝成外置加速卡,安裝在 SATA 硬盤插槽中,實現即插即用。TPU 通過 PCIe Gen3 x16 總線與主機連接,可提供 12.5GB/s 的有效帶寬。
但初代TPU並非Google自己獨立打造,它的背後,離不開博通的助力。
根據2020年摩根大通分析師Harlan Sur的報告,GoogleTPU v1至v4這幾代均是它與博通共同設計的,當時它已經開始生產采用7nm 工藝的TPU v4,並開始與Google合作設計采用5nm工藝的TPU v5。
Sur表示,博通的專用集成電路(ASIC)業務2020年全年收入為 7.5 億美元,高於 2016 年的 5000 萬美元,除芯片設計之外,博通還為Google提供關鍵的知識產權,並負責制造、測試和封裝新芯片等步驟,以供應Google的新數據中心,博通還與其他客戶如Meta、微軟和AT&T等公司合作設計ASIC芯片。
這位分析師還在2022年5月表示,Meta正在使用定制芯片來構建其 Metaverse 硬件,成為博通下一個價值數十億美元的 ASIC 客戶,“我們相信,這些成果主要集中在 5 納米和 3 納米工藝上,並將用於支持 Metaverse 硬件架構,該架構將在未來幾年內部署,Meta 將在未來三到四年內成為博通繼Google之後下一個年產 10 億美元的 ASIC 客戶。” Sur談到。
在人工智能元年到來之前,博通就與GoogleMeta勾肩搭背,極大拓展自己在數據中心芯片市場中的份額,而在2023年人工智能爆火後,微軟所推出的Maia 100芯片,以及其尚在研發中的網卡,背後可能都有博通的參與,依靠著這幾個巨頭,博通成為一人之下萬人之上的AI贏傢。
博通的最新財報也體現這一點,其2024年第一季度財報顯示,該季度半導體營收73.9億美元,同比增長4%,營收占比62%,其中網絡營收33億美元,同比增長46%,占半導體營收45%,主要由兩大客戶定制DPU芯片增長拉動,預計2024年網絡營收同比增長35%+。
值得一提的是與AI相關的業務,博通將 AI ASIC 和專註於 AI 的網絡解決方案一起歸類為 AI 加速器,截至2023年,該業務總銷售額合計占全年半導體收入的 15%,即約 42 億美元,而2024年第一季度 AI營收約23億美元,占半導體營收31%,較前一年同期翻四倍,預計2024年總占比會在35%以上,意味著2024年AI營收規模超100億美元(此前預計75億美元),預計同比增長約133%左右;
而在營收超100億美元的目標當中,定制DPU芯片約70億美元,20%是交換機/路由器芯片,10%是光芯片以及互聯芯片等,這就意味著,光是為Google、Meta和微軟這樣的巨頭定制芯片,就能賺得盆滿缽滿。
博通首席執行官 Hock Tan 絲毫不掩飾自己對AI以及定制芯片的樂觀,他在財報電話會議上表示:到 2024 財年,網絡收入將同比增長 30%,這主要得益於網絡連接部署的加速以及超大規模企業中人工智能加速器的擴展,預計生成式 AI 的收入將占半導體收入的 25% 以上。
與排名第一的博通相比,Marvell在定制芯片上的規模稍小,但同樣擁有不容小覷的實力,2023年4月,Marvell發佈基於臺積電 3 納米工藝打造的數據中心芯片,這也是全球第一傢以芯片設計公司名義發佈的3納米芯片。
2023年6月,臺灣媒體自由時報報道稱,Marvell 獲得亞馬遜 AI 訂單。通過此次合作,Marvell 將協助亞馬遜第二代 AI 芯片(即Trainium 2)的設計,預計2023年下半年啟動委托設計,2024年進入量產。
早在 2020 年12月,亞馬遜就推出一款全新的機器學習定制訓練芯片 Trainium,與標準的 AWS GPU 實例相比,AWS 承諾可帶來 30% 的吞吐量提升、以及降低 45% 的單次引用成本,隨後亞馬遜又在2023年11月推出升級版Trainium 2,這兩代芯片推出的背後,也少不Marvell的影子。
在Marvell官網上,更是直白地提到自己是AWS的戰略供應商,提供雲優化芯片,幫助滿足AWS客戶的基礎設施需求,包括提供電子光學、網絡、安全、存儲和定制設計解決方案,考慮到亞馬遜目前是全球最大的雲服務提供商,且Google有意於從博通轉向Marvell,其在定制芯片上的實力可見一斑。
在Marvell發佈的截止至2024年2月3日的第四財季與年度財務報告中,2024財年第四季度營業收入為14.27億美元,超出中旬時所給出的預期。Marvell的董事長兼首席執行官馬特·墨菲先生對此強調:“我們的Marvell 2024財年第四季度營收突破14.27億美元,超過預期。而人工智能帶來的收入增長更是驚人,使我們的數據中心終端市場的收入環比增幅達到38%,同比增長則高達54%。”
有意思的是,在此前的2024年第三季度財報中,Marvell就宣佈自己通過為雲供應商開發定制芯片,在雲計算領域也實現增長。首席執行官墨菲表示:“雲計算客戶仍然專註於通過構建他們自己的定制計算解決方案來增強他們的人工智能產品,我們已經贏得許多這樣的設計。”
雖然不清楚Marvell與哪些巨頭達成合作,但其中必然有亞馬遜的席位。從Marvell 2017年收購Cavium,2019年收購Globalfoundries的ASIC業務部門Aquantia,2020年收購光芯片廠商Inphi,2022年收購網絡交換芯片廠商Innovium這一番佈局來看,其圖謀所求還是挺大的。
此外,相較於博通依靠巨頭的做法,Marvell的押註更加關鍵,早在2020年9月,Marvell就幫助今年爆火的Groq 設計生產出Groq Node,其中Marvell 提供構建 ASIC 及其與外界接口的構建塊,而 Groq 自己則專註於人工智能加速。
博通與Marvell,足以稱得上是人工智能時代裡的定制雙雄。
誰是對手
雖然博通和Marvell並未獲得英偉達那樣的關註度,由於非AI業務的拖累,現在的財報不夠好看,股價也難以與英偉達比擬,但它們背後所潛藏的廣闊市場足以讓英偉達側目。
“超大規模數據中心企業自己做芯片比向外大量購買還要便宜,並省掉中間商的成本。”EDA工具與知識產權巨頭Cadence數位與簽核部門VP Kam Kittrell認為,“這些公司通常是自傢雲端服務的使用者,並且擁有高價值的專門化軟件。他們可以針對這些軟件打造能源效率更佳的專屬硬件。”
“我們看到最大的成長是來自於數據基礎架構的領域,包含雲端、數據中心、網絡、儲存設備,以及5G基礎架構等應用。”Alphawave Semi行銷主管Sudhir Mallya表示:“從今天來看,定制化芯片在數據中心基礎架構應用上的成長幅度實在驚人。從幾年前Google、微軟、AWS、Meta等超大規模數據中心企業都紛紛開始設計自傢芯片,我們就看到這個趨勢。”
據研究公司 650 Group 的 Alan Weckel 估計,數據中心定制芯片市場今年將增長至 100 億美元,到 2025 年將翻一番。Needham 分析師 Charles Shi 表示,到 2023 年,更廣泛的定制芯片市場價值約為 300 億美元,約占全球芯片年銷售額的 5%。
“博通的定制芯片業務達到 100 億美元,而 Marvell 的規模約為 20 億美元,這是一個真正的威脅,”芯片研究集團 SemiAnalysis 的創始人迪倫·帕特爾 (Dylan Patel) 表示。“這是一個真正的大利空——有更多的競爭者加入戰局。”
有意思的是,英偉達CEO黃仁勛最近在斯坦福的演講裡,也提到這一廣闊市場,他表示,英偉達不僅有來自競爭對手的競爭,還有來自客戶的競爭(雲服務廠商),客戶可以為特定的算法構建一款優秀的芯片(ASIC),但計算不僅僅是關於transformer,更何況英偉達正在不斷地發明新的transformer變種。
黃仁勛著重提到成本,他表示,購買和銷售芯片的人僅僅考慮的是芯片的價格,而運營數據中心的人考慮的是整個運營成本、部署時間、性能、利用率以及在所有這些不同應用中的靈活性。總的來說,英偉達的總運營成本(TCO)非常好,即使競爭對手的芯片是免費的,最終算下來它也不夠便宜,英偉達的目標是增加更多價值,以至於替代品不僅僅是關於成本的問題。
作為英偉達實際掌控人的他,首先對目前的ASIC芯片表達出不屑,而後他表示,隻要有需要,英偉達隨時可以利用已有的IP和技術積累,為客戶打造出更好的定制芯片,這也與前文中路透社的報道相吻合。
“我們是否願意定制化?是的,我們願意。為什麼現在的門檻相對較高?因為我們平臺的每一代產品首先有GPU,有CPU,有網絡處理器,有軟件,還有兩種類型的交換機。我為一代產品建造五個芯片,人們以為隻有GPU一個芯片,但實際上是五個不同的芯片,每個芯片的研發成本都是數億美元,僅僅是為達到我們所說的“發佈”標準,然後你必須將它們集成到一個系統中,然後你還需要網絡設備、收發送器、光纖設備,以及大量的軟件。運行一個像這個房間這麼大的計算機,需要大量的軟件,所以這一切都很復雜。如果定制化的需求差異太大,那麼你必須重復整個研發過程。然而,如果定制化能夠利用現有的一切,並在此基礎上增加一些東西,那麼這就非常有意義。也許是一個專有的安全系統,也許是一個加密計算系統,也許是一個新的數值處理方式,還有更多,我們對這些非常開放。我們的客戶知道我願意做所有這些事情,並認識到,如果你改變得太多,你基本上就全部重置,浪費近千億美元。所以他們希望在我們的生態系統中盡可能地利用這些(減少重置成本)。”
事實上,隔壁的兩傢早已在數據中心芯片上不斷推陳出新。AMD有Instinct計算GPU,以及EPYC處理器(采用chiplet設計),解決AI和HPC工作負載;Intel則采用多方位策略,運用單體的Habana處理器處理AI應用,多芯片的Data Center GPU Max處理AI及HPC應用,以及多芯片的第四代Xeon可擴充CPU處理其餘應用。
還在采用單體設計的英偉達H100,目前在AI上的競爭力依舊強大,但這種優勢並非無法消弭,尤其是考慮到它昂貴的價格。像亞馬遜、Google、Meta、微軟這樣的雲服務巨頭,他們既有開發定制化數據中心芯片的雄厚財力,也有為之設計一套配套軟件的技術能力,為提升效率和降低成本,本就在往這一方向上發展,AI的到來隻是加速向定制化芯片遷移的過程。
當雲服務廠商率先轉向定制芯片後,所生產出來的芯片不僅服務自身,還可以開放給其他廠商,長此以往就是定制芯片比例越來越高,英偉達芯片比例就會越來越少,如今它所構築出的2萬億帝國可能就會在頃刻間崩塌。
黃仁勛的演講中,一方面強調成本,表達出“定制芯片很不錯,但算下來還是我的芯片更劃算”的意思,另一方面也對定制芯片持有開放態度,先安撫住自己這群躁動的客戶再說,成本高?給你優惠,定制化?先提需求,有什麼問題不要急,我們坐下慢慢談。
這種態度,實際上體現出英偉達如今的左右為難,還記得文章開始所提到的黃仁勛的感言嗎?英偉達把客戶需求而不是競爭對手放在第一位,這一招讓英偉達在GPU市場裡橫行二十餘年而未嘗一敗,但當客戶變成對手時,多少是有些尷尬的。
從這一角度看,博通和Marvell倒也不用過於擔心英偉達橫插一腳,一旦英偉達開啟定制化芯片的先河,那就會引發一場厚此薄彼的矛盾,英偉達B100和定制化芯片哪個更好,不同的定制芯片又有怎樣的性能差異等等,這都是黃仁勛未來所需要考慮的問題。
寫在最後
英偉達現在所涉及的領域之廣,絕非昔日能比,2008年的英偉達可能隻需要盯著AMD和英特爾就行,但2024年的英偉達,要盯著的廠商數量早已翻好幾倍,且都不是等閑之輩。
而它最近向美國證券交易委員會提交的文件中,也放入一堆競爭對手,英特爾、AMD、博通、高通、亞馬遜和微軟都位列其中,面對幾個巨頭的咄咄逼人,英偉達再淡定,額頭多少也沁出一些汗珠,並非像以往那樣風淡雲清。
或許英偉達現在真的需要思考下,不把打敗對手當成目標。