ChatGPT需要1萬張NVIDIA A100顯卡 國內僅有6傢公司做到


ChatGPT這樣的生成式AI不僅需要千億級的大模型,同時還需要有龐大的算力基礎,訓練AI現在主要依賴NVIDIA的AI加速卡,達到ChatGPT這種級別的至少需要1萬張A100加速卡。高性能加速顯卡現在是稀缺資源,國內購買NVIDIA高端顯卡更是不容易,來自商湯科技的一份紀要顯示,能達到ChatGPT這種算力要求的公司在國內鳳毛麟角,隻有6傢。

他們是商湯、百度、騰訊、字節、阿裡和幻方,其中百度、騰訊、字節、阿裡這樣的互聯網巨頭能買到且買得起1萬張A100顯卡不讓人意外。

百度3月底已經發佈自己對標ChatGPT的產品文心一言,接下來其他公司也會陸續發佈自己的AI產品。

NVIDIA A100核心及計算卡是2020年5月份發佈的,也是安培架構的第一款產品,7nm工藝制造,542億個晶體管,826平方毫米面積,8196個流處理器,實際開啟6912個,搭配5120-bit 40GB HBM2顯存,PCIe版本功耗250W。

A100的單精度浮點性能高達19.5TFlops,FP64性能9.7TFLOPS,INT8性能624TOPS,TDP 400W,顯存的帶寬也是恐怖的1.6TB/s,後期還發佈過80GB HBM2e的版本,頻率從2.4Gbps提升到3.2Gbps,使得帶寬從1.6TB/s提升到2TB/s。


相關推薦

2023-04-11

快科技4月11日消息,ChatGPT最近幾個月火爆之後,國內外多傢科技巨頭都在推出自己的AI大模型,這就需要龐大的AI算力支撐,這方面還是得靠NVIDIA的加速顯卡,達到ChatGPT這種級別的至少需要1萬張A100加速卡。國內當前能滿足ChatGPT

2023-08-07

快科技8月7日消息,盡管OpenAI CEO之前否認,但業界還是相信他們已經在訓練GPT-5大模型,規模將是GPT-4的10倍以上,但這也意味著更燒錢,尤其是用於訓練AI的顯卡極為稀缺。全球這麼多搞AI大模型的,到底用多少AI顯卡是各傢的秘

2023-05-07

快科技5月6日消息,ChatGPT這樣的AI大模型火爆之後,多傢科技巨頭也入局搶占先機,推出自己的大模型,但這背後都需要龐大的算力支撐,NVIDIA的AI顯卡成香餑餑。據統計NVIDIA當前在售的加速卡至少有9款型號,其中高性能的有4款

2023-05-15

最近幾個月AI成為科技行業最火的領域,ChatGPT這樣的生成式AI推動Google、微軟及國內眾多公司投入大模型研發,導致高性能GPU芯片需求大漲,NVIDIA又賺到一波,部分芯片要缺貨到年底,價格也在漲。有代理商透露,A100價格從去年

2023-07-25

快科技7月24日消息,在生成式AI領域,推出ChatGPT的OpenAI是處於領先地位的,他們的GPT-4已經是萬億參數級別,還在訓練更先進的GPT-5,屆時又會在技術水平上甩開國內的追趕者。OpenAI能夠領先,先進AI顯卡用到的GPU是功不可沒的,

2023-04-15

快科技4月15日消息,隨著ChatGPT等語言大模型爆火,各大科技巨頭對AI芯片的需求也飆升。據解,NVIDIA H100頂級處理器在eBay上進行售賣,價格從39995美元到46000美元不等。一些零售商過去曾以3.6萬美元左右的價格出售這款產品。H100

2023-04-15

使用H100來構建所謂的大型語言模型(LLMs),這是Open AI的ChatGPT等AI應用的核心。這些AI模型對算力的要求極高。因此,訓練它們,尤其是像GPT這樣的大型模型,需要數百顆高端英偉達GPU協同工作。正因如此,那些正進行AI競賽的

2023-11-03

之所以能夠為所欲為,源於強大的科技實力。資料顯示,ChatGPT-3的訓練算力消耗極為龐大,達到3640PF-days(每秒計算一千萬億次,需要計算3640天),相當於6000枚英偉達A100芯片,若考慮互聯損失的情況,需要儲備一萬張A100作為算力

2023-08-18

快科技8月17日消息,NVIDIA官網預告將於8月23日下午發佈截至7月底的24財年Q2財報,這次的業績將是創紀錄的。根據NVIDIA之前的預告,Q2營收將達到110億美元,上下浮動2%,美國通用會計準則下的毛利潤率預計在68.6%,上下浮動0.5個

2023-08-18

快科技8月17日消息,NVIDIA官網預告將於8月23日下午發佈截至7月底的24財年Q2財報,這次的業績將是創紀錄的。根據NVIDIA之前的預告,Q2營收將達到110億美元,上下浮動2%,美國通用會計準則下的毛利潤率預計在68.6%,上下浮動0.5個

2023-08-18

快科技8月17日消息,NVIDIA官網預告將於8月23日下午發佈截至7月底的24財年Q2財報,這次的業績將是創紀錄的。根據NVIDIA之前的預告,Q2營收將達到110億美元,上下浮動2%,美國通用會計準則下的毛利潤率預計在68.6%,上下浮動0.5個

2024-04-09

科學傢亞歷克斯·德弗裡斯在他的論文中,為對話機器人ChatGPT算這樣一筆賬:每當ChatGPT試圖響應一次問題,它需要消耗2.9瓦時的電量。這是什麼概念?響應10次的電量,可以支撐一個功率15W的LED燈泡工作2小時;響應100次,可以

2022-09-20

知,未來向中國和俄羅斯出口A100和即將上市的H100芯片將需要新的許可證要求。這些規則也適用於DGX或任何其他包含A100或H100芯片和A10x的系統。這些規則還涵蓋任何未來的芯片,其峰值性能和芯片間I/O性能均等於或大於大致等於A

2023-11-17

出的,例外有兩種類型。1/ 紅色--出口和再出口這些產品需要獲得商務部的許可。這些產品的 TPP(總處理性能)超過 4800,性能密度超過 6 的幾乎所有產品。對這些產品的審查是"推定拒絕"。2/ 黃色"中等性能"--供