訓練出ChatGPT需要消耗多少電力?


3月10日消息,AI已經重新成為科技行業的熱門話題,預計它將徹底改變從零售到醫藥等價值數萬億美元的行業。但每創造一個新的聊天機器人或圖像生成器都需要耗費大量的電力,這意味著這項技術可能釋放大量溫室氣體,進而加劇全球變暖問題。

微軟、谷歌和ChatGPT制造商OpenAI都要使用雲計算,而雲計算依賴於全球海量數據中心服務器內數以千計的芯片來訓練被稱為模型的AI算法,分析數據以幫助這些算法“學習”如何執行任務。ChatGPT的成功促使其他公司競相推出自己的AI系統和聊天機器人,或者開發使用大型AI模型的產品。

與其他形式的計算相比,AI需要使用更多的能源,訓練單個模型消耗的電力超過100多個美國傢庭1年的用電量。然而,雖然AI行業增長非常快,但卻不夠透明,以至於沒有人確切知道AI的總用電量和碳排放量。碳排放量也可能有很大差異,這取決於提供電力的發電廠類型,靠燒煤或天然氣發電供電的數據中心,碳排放量顯然高於太陽能或風力發電支持的數據中心。

雖然研究人員已經統計創建單一模型所產生的碳排放量,有些公司也提供有關他們能源使用的數據,但他們沒有對這項技術的總用電量進行總體估計。AI公司Huging Face研究員薩莎·盧西奧尼(Sasha Luccioni)寫一篇論文,量化她旗下公司Bloom的碳排放情況,Bloom是OpenAI模型GPT-3的競爭對手。盧西奧尼還試圖根據一組有限的公開數據,對OpenAI聊天機器人ChatGPT的碳排放情況進行評估。

提高透明度

盧西奧尼等研究人員表示,在AI模型的電力使用和排放方面,需要提高透明度。有這些信息,政府和公司可能會決定,使用GPT-3或其他大型模型來研究癌癥治療或保護土著語言是否值得。

更高的透明度也可能帶來更多的審查,加密貨幣行業可能會提供前車之鑒。根據劍橋比特幣電力消耗指數,比特幣因其耗電量過大而受到批評,每年的耗電量與阿根廷一樣多。這種對電力的貪婪需求促使紐約州通過一項為期兩年的禁令,暫停向以化石燃料發電供電的加密貨幣采礦商發放許可證。

GPT-3是功能單一的通用AI程序,可以生成語言,具有多種不同的用途。2021年發表的一篇研究論文顯示,訓練GPT-3耗用1.287吉瓦時電量,大約相當於120個美國傢庭1年的用電量。同時,這樣的訓練產生502噸碳,相當於110輛美國汽車1年的排放量。而且,這種訓練隻適用於一個程序,或者說是“模型”。

雖然訓練AI模型的前期電力成本巨大,但研究人員發現,在某些情況下,這隻是模型實際使用所消耗電力的40%左右。此外,AI模型也在變得越來越大。OpenAI的GPT-3使用1750億個參數或變量,而其前身僅使用15億個參數。

OpenAI已經在研究GPT-4,而且必須定期對模型進行再訓練,以保持其對時事的解。卡內基梅隆大學教授艾瑪·斯特魯貝爾(Emma Strubell)是首批研究AI能源問題的研究人員之一,她說:“如果你不對模型進行再訓練,它甚至可能不知道何為新冠肺炎。”

另一個相對的衡量標準來自谷歌,研究人員發現,AI訓練占該公司總用電量的10%至15%,2021年該公司的總用電量為18.3太瓦時。這意味著,谷歌的AI每年耗電量達2.3太瓦時,大約相當於亞特蘭大所有傢庭的1年用電量。

科技巨頭做出凈零承諾

雖然在許多情況下,AI模型變得越來越大,但AI公司也在不斷改進,使其以更高效的方式運行。微軟、谷歌和亞馬遜等美國最大的雲計算公司,都做出碳減排或凈零承諾。谷歌在一份聲明中表示,到2030年,該公司將在所有業務中實現凈零排放,其目標是完全使用無碳能源運營其辦公室和數據中心。谷歌還在使用AI來提高其數據中心的能效,該技術直接控制設施中的冷卻系統。

OpenAI也列舉該公司為提高ChatGPT應用程序編程接口的效率所做的工作,幫助客戶降低用電量和價格。OpenAI發言人表示:“我們非常認真地承擔起阻止和扭轉氣候變化的責任,我們對如何最大限度地利用我們的計算能力進行很多思考。OpenAI運行在Azure上,我們與微軟團隊密切合作,以提高運行大型語言模型的效率並減少碳排放。”

微軟指出,該公司正在購買可再生能源,並采取其他措施,以實現之前宣佈的目標,即到2030年實現凈零排放。微軟在聲明中稱:“作為我們創造更可持續性未來承諾的一部分,微軟正在投資於研究,以衡量AI的能源使用和碳排放影響,同時致力於提高大型系統在培訓和應用方面的效率。”

耶路撒冷希伯來大學教授羅伊·施瓦茨(Roy Schwartz)與微軟的一個團隊合作,測量一個大型AI模型的碳足跡。他表示:“顯然,這些公司不願透露他們使用的是什麼模型,以及它排放多少碳。”

有些方法可以讓AI更高效地運行。能源咨詢公司Wood Mackenzie的本·赫茲-沙格爾(Ben Hertz-Shargel)表示,由於AI訓練可以隨時進行,開發者或數據中心可以將訓練安排在電力更便宜或過剩的時候,從而使它們的運營更加環保。AI公司在電力過剩時訓練自己的模型,然後可以在營銷中將其當成一大賣點,以此表明他們註重環保。

芯片運行耗電量驚人

大多數數據中心使用圖形處理單元(GPU)來訓練AI模型,這些組件是芯片行業制造的最耗電組件之一。摩根士丹利分析師本月早些時候發佈的一份報告稱,大型模型需要數萬個GPU,培訓周期從幾周到幾個月不等。

AI領域更大的謎團之一是與所使用芯片相關的碳排放總量。最大的GPU制造商英偉達表示,當涉及到AI任務時,他們的芯片可以更快地完成任務,總體上效率更高。

英偉達在聲明中表示:“與使用CPU相比,使用GPU來加速AI速度更快,也更高效。對於某些AI工作負載來說,能效通常可以提高20倍,對於生成式人工智能必不可少的大型語言模型,能效則可提高300倍。”

盧西奧尼說,雖然英偉達已經披露與能源相關的直接排放和間接排放數據,但該公司並沒有透露更多細節。她認為,當英偉達分享這些信息時,我們可能發現GPU消耗的電量與一個小國用電量差不多,“這可能會讓人抓狂”!


相關推薦

2023-02-10

號稱史上最強AI的ChatGPT知道自己每天排放多少二氧化碳嗎?一番溝通後,華爾街見聞得到否定的答案。看來暫時隻能由人腦來替它回答。環球零碳研究中心研究員唐淑姝告訴華爾街見聞,如果粗略合算ChatGPT的總生命周期碳足跡

2024-03-12

ChatGPT居然這麼費電?最新的等式出現:ChatGPT日耗電量≈1.7萬傢庭日耗電量。什麼概念?一年光電費就要花2億!美國普通傢庭平均單日用電29千瓦時,而ChatGPT的單日用電量超過50萬千瓦時。(美國商業用電一度約為0.147美元也就

2023-02-13

隨著ChatGPT的爆紅,微軟、Google、百度相繼宣佈對他們的搜索引擎進行重大改革,試圖將大型人工智能模型整合到搜索中,以便給用戶提供更豐富、更準確的體驗。但是興奮之餘,新工具背後可能隱藏著一個“骯臟的秘密”。外

2024-04-09

科學傢亞歷克斯·德弗裡斯在他的論文中,為對話機器人ChatGPT算這樣一筆賬:每當ChatGPT試圖響應一次問題,它需要消耗2.9瓦時的電量。這是什麼概念?響應10次的電量,可以支撐一個功率15W的LED燈泡工作2小時;響應100次,可以

2023-10-12

快科技10月12日消息,隨著生成式人工智能ChatGPT的橫空出世,各個公司和機構也都紛紛推出自己的大模型人工智能AI。這一技術的應用無疑是給人類帶來諸多便利和許多未曾開發的機會,例如,現在學生更容易解決復雜問題,醫

2024-03-27

唯一的辦法,電力短缺將直接限制未來GPU的發展。此前,ChatGPT每天耗電已超50萬千瓦時,登上熱搜,足見AI“吃電”非常兇猛。根據波士頓咨詢集團的分析,到2030年,數據中心的用電量預計將增加兩倍,相當於為大約4000萬美國

2024-03-10

據《紐約客》雜志報道,OpenAI的熱門聊天機器人ChatGPT每天可能要消耗超過50萬千瓦時的電力,以響應用戶的大約2億個請求。相比之下,美國傢庭平均每天使用約29千瓦時的電力。將ChatGPT每天的用電量除以普通傢庭的用電量,可

2024-03-17

的芯片。”同時,根據《紐約客》雜志的報道:“OpenAI的ChatGPT聊天機器人每天消耗超過50萬千瓦時的電力,用於處理約2億個用戶請求,相當於美國傢庭每天用電量的1.7萬多倍。”荷蘭國傢銀行數據科學傢亞歷克斯·德弗裡斯在一

2024-03-27

不能忽視AI技術對於能源的巨大消耗。此前有報道指出,ChatGPT為響應用戶請求,每天消耗的電力可能超過50萬千瓦時,這幾乎是美國普通傢庭平均用電量的1.7萬多倍。考慮到電力成本,這相當於每天需要支付高達53萬元的電費,

2024-05-08

以獲取的開源軟件包,用於使用大型語言模型(LLM)(如ChatGPT 4)訓練機器人執行現實世界中的任務。這是一個"模擬到現實"系統,也就是說,它在虛擬環境中使用模擬物理原理對機器人進行教學,然後再在現實空間中實

2023-02-10

“ChatGPT的意義不亞於PC或互聯網的誕生”,比爾蓋茨對這個新風口不吝贊譽。裁員潮下一片慘淡的矽谷,因為ChatGPT再次燃起希望之光。微軟斥資100億美元投資OpenAI,並計劃將ChatGPT融入旗下全線產品。2月4日,微軟融合ChatGPT-4的Bi

2023-10-15

成本。有媒體估算過,使用雲計算服務(以AWS為例)調用ChatGPT的能力,每處理一個輸入長度為50字、輸出長度為1000字的問題,大約需要消耗0.00014611美元的雲計算資源。即用1美元可以向ChatGPT提問約6843個問題。此外,據華爾街日

2023-11-04

程是有限度的。後期的推理過程就不一樣,比如我們用 ChatGPT ,每問一次問題都相當於是一次推理請求。現在 ChatGPT 的月活用戶早已經破億,它每天推理的頻次的飆升可想而知。更具體一點,拿自動駕駛來說,前期訓練花費的能

2023-11-10

開發者大會OpenAI DevDay上,OpenAI宣佈,推出自定義版本的ChatGPT,這種由用戶定制版本的ChatGPT都簡稱為GPT。從周二當天開始,用戶可以打造自己的GPT,並且公開分享。OpenAi還推出功能更強大、速度更快的GPT-4 版本GPT-4 Turbo。評論稱