研究機構預估:部署Sora需要72萬片英偉達加速卡 價值216億美元


市場研究機構FactorialFunds發佈一份報告,其中詳細分析OpenAI部署的文本轉視頻模型Sora所需的硬件資源。報告指出,在峰值時期,Sora模型預計需要高達72萬片英偉達H100AI加速卡來支持其強大的運算需求。

考慮到每片英偉達H100 AI加速卡的成本約為3萬美元,這一數字意味著僅僅是加速卡的成本就高達驚人的216億美元(約合人民幣1561億元)。

而這僅僅是冰山一角,因為除加速卡,訓練Sora還需要投入大量的其他硬件成本,包括高性能服務器、穩定的電力供應等。

Factorial Funds還預估,訓練Sora一個月需要使用的英偉達H100 AI加速卡數量在4200到10500片之間。生成1分鐘的視頻也需要進行長達12分鐘的渲染,這進一步凸顯Sora模型在運算和數據處理方面的巨大需求。

與此同時,我們也不能忽視AI技術對於能源的巨大消耗。此前有報道指出,ChatGPT為響應用戶請求,每天消耗的電力可能超過50萬千瓦時,這幾乎是美國普通傢庭平均用電量的1.7萬多倍。考慮到電力成本,這相當於每天需要支付高達53萬元的電費,一年下來光是電費就要花費近2億元。

英偉達CEO黃仁勛在公開演講中指出,AI未來發展與光伏和儲能緊密相連。特斯拉CEO馬斯克也提出類似看法,AI在兩年內年將由“缺矽”變為“缺電”,而這可能阻礙AI的發展。


相關推薦

2024-04-09

至少有幾十億美元"。在馬斯克從DeepMind、OpenAI、Google研究院、微軟研究院、特斯拉和多倫多大學聘請人才,從頭開始建立自己的人工智能企業時,xAI曾在2023年購買大約1萬臺英偉達的GPU。不過,可以合理推斷,這些采購很可

2023-03-17

AI訓練芯片市場的份額達到90%。IDC數據顯示,2021年,中國加速卡出貨量超過80萬片,其中英偉達占據超過80%市場份額。華安嘉業上述負責人告訴第一財經,GPU的核心競爭力在於架構等因素決定的性能先進性和計算生態壁壘。一方

2024-02-27

會相應帶動AI芯片的需求增長。這樣的趨勢下,IDC亞太區研究總監郭俊麗曾預測,2024年AI芯片規模將超過650億美元。結合市場地位來看,英偉達將是需求爆發下的充分受益者。據悉,2023年9月,英偉達H100 GPU銷售一空。彼時交錢訂

2024-03-21

計的AI平臺,為企業開發者提供專用訪問權限,以構建和部署先進的生成式AI模型所需的基礎設施和軟件。英偉達以實際的模型訓練為例,訓練一個GPT-MoE-1.8T模型(疑似指GPT-4),此前使用Hopper系列芯片需要8000塊GPU訓練90天,現在

2024-02-22

計算正在占據主導地位。從市場規模預期來看,知名市場研究機構Mordor Intelligence最新研究顯示,預計GPU市場規模(涵蓋PC、服務器、高性能計算、自動駕駛等應用端GPU) 未來五年將達到大約2069.5億美元,預測期內(2024-2029年)

2024-04-03

繼先進制程、GPU後,再失先手。正如電子科技大學長三角研究院(湖州)集成電路與系統研究中心副主任黃樂天所說:“就好像一把槍,子彈供應跟不上,射速再快也沒用。無法解決HBM問題,我國算力就難以提升,人工智能在內

2024-03-17

率為 700MHz,運行時功耗為 40W,Google將處理器包裝成外置加速卡,安裝在 SATA 硬盤插槽中,實現即插即用。TPU 通過 PCIe Gen3 x16 總線與主機連接,可提供 12.5GB/s 的有效帶寬。但初代TPU並非Google自己獨立打造,它的背後,離不開博

2023-03-22

療方法的創建以及基因組學、化學、生物學和分子動力學研究。直接在瀏覽器上或通過API,均可訪問這些運行在NVIDIA DGX Cloud上的雲服務。NeMo、BioNeMo雲服務已開放早期訪問,Picasso雲服務正在私人預覽中。英偉達也宣佈一系列跟

2023-05-11

對ChatGPT及相關應用的AI頂級規格芯片需求明顯看增,但因需要一條龍的先進封裝產能,公司近期緊急向臺積電追加預訂CoWoS先進封裝產能,全年約比原本預估量再多出1萬片水準。追單已獲得臺積電允諾。由於先進封裝產能也需要

2024-03-25

軟件到硬件編程的一站式服務,讓開發者可以輕松構建和部署AI應用,加速AI技術的落地應用。除此之外,英偉達還展示一系列酷炫的AI運用場景,如用來預測蛋白質結構的 ESMFold、人形機器人基礎模型 Groot 和人形機器人芯片 

2024-03-19

一代AI芯片,以及英偉達CEO黃仁勛發表的關於AI領域最新研究以及應用進展的講話,將是他們押註英偉達一周內股價翻番的最重要催化劑。在美東時間3月18日(北京時間3月19日凌晨),英偉達創始人黃仁勛在美國加州聖何塞SAP中心登

2023-11-02

MI300A,稱其是全球首個為AI和HPC(高性能計算)打造的APU加速卡;另有對大語言模型進行優化的版本——MI300X。蘇姿豐當時表示,“我們都看到生成式人工智能工作負載的增長,而事實是,距離人們真正將其運用於企業業務生產

2024-03-14

AI已是AMD的第一戰略重點。預計AMD最新推出的Instinct MI300加速卡,可以幫助AMD占領市場。”在介紹中,MI300X芯片是一款全面超越英偉達H100 AI芯片的產品。投放市場後,MI300也迅速成為AMD歷史上銷售額最快達到10億美元的產品。根據

2024-04-15

與英偉達新款AI GPU全面綁定。目前,據TrendForce集邦咨詢研究顯示,2023年SK海力士占據46%-49%的HBM市場份額,三星市場份額也差別不大,美光目前隻占有4%-6%的市場份額。據行業人士觀點,在美光新品持續發力情況下,受到美國地