微軟內部遭遇AI硬件短缺 被迫實施配額制


據報道,知情人士透露,雖然微軟即將宣佈一整套使用GPT-4人工智能(AI)軟件的Office365工具,但該公司現在卻面臨內部AI服務器硬件短缺的窘境。這迫使微軟不得不對硬件資源采取配額供應的方式,限制其他內部AI工具開發團隊的使用量,從而確保基於GPT-4的新版必應聊天機器人和即將發佈的新款Office工具獲得足夠的資源。

這種硬件短缺的現狀還對微軟的客戶產生影響:至少有一個客戶表示,需要等待很長時間,才能使用已經通過微軟Azure雲服務提供的OpenAI軟件。

微軟表示正在加緊添置更多硬件,以便增加AI計算能力,但如果速度不夠快,就有可能限制其Azure OpenAI服務對新客戶的吸引力。這些客戶會借助此項服務將AI功能添加到自己的應用中。微軟原本在這種新的AI工具的商業化方面已經領先於谷歌,但如果遲遲不能解決硬件短缺問題,這種優勢也將難以發揮出來。

谷歌搶在微軟之前於本周發佈自己的AI輔助寫作工具,包括能夠根據簡短的提示,在谷歌Docs和Sheets中自動編寫文本的軟件。

服務器短缺正值OpenAI和微軟試圖快速擴大銷售范圍之際,客戶可以使用自己的數據對這種AI軟件進行微調,從而開發圖片生成、文檔總結、搜索引擎和聊天機器人等定制化AI工具。

微軟已經向OpenAI投資數十億美元,有權通過Azure OpenAI服務向創業公司銷售軟件。OpenAI也將軟件直接授權給客戶使用——而作為與微軟合作的一部分,所有OpenAI機器學習模型都必須運行在Azure服務器上。這兩項服務的定價相同,每次請求收費都不到一美分。

這兩傢公司在過去3個月推出的服務吸引企業用戶的廣泛興趣,他們都希望將OpenAI的ChatGPT聊天機器人的底層技術整合到自傢產品中。但是微軟Azure OpenAI服務的新客戶卻要面臨很長的等待時間。

硬件資源短缺的核心問題在於,GPT-4等新的AI大模型需要在GPU上運行,這種服務器芯片可以一次性處理大量數據。為處理這個模型的龐大計算需求,微軟已將數萬個GPU整合成一個個群集,分散到各個數據中心裡。

在明確用戶需求量之前,微軟目前不得不將現有的大量GPU資源預留給新的必應GPT-4聊天機器人和即將推出的GPT-4 Office工具。

知情人士表示,微軟2月剛剛推出這項必應智能聊天功能,目前還在加緊測算平均每天有多少人願意使用這項服務。知情人士表示,這就導致工程師很難預測該功能所需的計算資源。

而即將推出的Office GPT-4工具也可能導致微軟客戶對OpenAI聊天機器人技術的需求大幅激增。這些新功能包括AI文檔總結、個性化寫作建議以及編輯建議等。

其他從事AI開發的微軟團隊不得不讓位於必應和Office,包括為各種機器學習模型的開發團隊,其中就包括微軟的圖靈自然語言生成模型,它可以理解文本,之前曾為電子郵件和Office應用中的搜索工具提供底層技術。

知情人士表示,當這些團隊想要使用GPU開發新的AI工具或測試現有AI軟件時,必須向一位公司副總裁提交特別申請,獲批後才能使用硬件。

知情人士稱,有些申請需要等待幾天甚至幾周才能獲批。自2022年末,微軟就一直對內部的GPU資源實施配額供給,但1月以來的等待時間越來越長。

微軟發言人在聲明中補充道,該公司正在為Azure等服務增加更多AI資源,並且遵循“優先滿足客戶需求並根據需求進行調整的流程”。他們還補充道,微軟並不擔心AI資源。

至少有一個微軟客戶透露,他們也經歷延遲訪問的問題。市場營銷軟件創業公司TouchCast創始人兼CEO Edo Segal說:“幾乎不可能立刻使用程序”。Edo的公司正在為多傢車企開發基於GPT的互動式用戶手冊,而這項技術正是通過微軟Azure授權的。

現有的AzureAI客戶幾乎未受影響。無人駕駛汽車開發商Cruise和AI搜索創業公司Perplexity的發言人都表示,他們在使用Azure的GPU資源時並未遇到困難。

去年11月,微軟和GPU生產商英偉達共同宣佈,微軟將新增數萬個處理器來擴大AI處理能力,但目前還不清楚采購進度。

這兩傢公司還在周一共同宣佈,Azure的客戶很快就能搶先使用英偉達的新款H100 GPU——這款產品尚未廣泛發佈。而知情人士稱,已經有少部分微軟內部團隊開始使用H100,但多數部門尚未獲得這項權限。


相關推薦

2023-05-06

他感到不滿。“我們不再接受大規模的旅遊,我們將通過實施配額制度來控制(遊客數量)。”如果限制政策生效,外國遊客在計劃去巴厘島之前一年就要進行登記。瓦揚說:“如果有配額,人們就要排隊等候,明年想來的,現在就

2024-04-09

微軟正準備在下個月於西雅圖舉行的一次活動上全面展示其"人工智能PC"的願景。熟悉微軟計劃的消息人士透露:微軟有信心讓新一輪搭載Arm處理器的Windows筆記本電腦將在CPU性能和AI加速任務方面擊敗蘋果搭載

2024-03-07

3月7日消息,微軟正乘風破浪,力圖在商業人工智能領域取得領先地位,其市值已躍居全球上市公司之首,引發華爾街投資者對即將爆發的生產力革命充滿憧憬。然而,深入采訪微軟的在職高管、離職高管及眾多一線員工後發現

2022-06-28

。充足的儲備還可以起到緩沖作用,讓天然氣能夠在歐盟內部跨國輸送,以確保所有成員國都供應充足。如果危機升級,各國可以互相幫助。“歐洲未來面臨的潛在關鍵風險是,在俄羅斯供應完全中斷的情況下,其能源市場各自

2023-03-29

據報道,微軟推出一款新的人工智能對話工具SecurityCopilot(安全副駕),能夠幫助網絡安全團隊防止黑客攻擊,並且在遭遇攻擊後進行處置。微軟最近發佈一批人工智能對話工具,被統稱為Copilot(副駕)。美東時間周二,該公

2023-11-16

北京時間周四凌晨1點,全球頂級技術大會微軟Ignite正式在西雅圖揭幕,微軟CEO薩蒂亞·納德拉進行接近1個小時的開幕演講,介紹AI龍頭取得的最新進步。納德拉表示,在本周的大會上,微軟又能拿出100多項有關AI的更新,但與過

2023-11-23

11月23日,有消息稱微軟將於12月1日起在中國大陸企業和教育機構推出名為Copilot的WebAI聊天功能。微軟內部人士對此表示,這一消息並不準確。微軟將於12月1日起在中國大陸企業和教育機構推出名為Copilot的WebAI聊天功能(以前的Bi

2023-12-03

來說,卻很不受用。後來,這場為期五天的動亂,被部分微軟員工稱為“Turkey-Shoot Clusterfuck”(壓倒性的大規模混亂)。彼時,納德拉已經和Altman密切合作四年,對他越來越信任。大爆款ChatGPT塞進Office Copilots後,微軟的核心生

2023-05-23

果Win11的份額現在都不好看,超越Win10是沒戲,有消息稱微軟內部也棄療,重點放在Win12系統上。微軟沒有正面承認Win12存在,但是種種跡象表明Win12已經在路上,而且2024年就有可能上市,Intel的14代酷睿就確認支持Wi-Fi 7及Win12,這

2024-04-18

根據媒體看到的一份內部文件,微軟的目標是到2024年底積累180萬枚人工智能芯片。微軟正試圖讓生成式AI更快、更好、更便宜,但這一努力在很大程度上依賴於微軟采購芯片和圖形處理單元(GPU),這些芯片主要來自英偉達。這

2023-11-11

示詞,就可被直接套走!而又在另一邊,OpenAI最親密盟友微軟內部一度緊急禁用,網站上顯示的理由正是:出於安全和數據方面的考慮,許多AI工具不再供員工使用。自定制版GPT上線以來,各路大神分享自己GPTs整活鏈接。結果有

2023-01-11

微軟曾發佈過SurfaceDuo、SurfaceDuo2兩款手機,與當前折疊屏手機不同,這兩款手機由兩塊屏幕組成,並通過鉸鏈結構將機身組合在一起,售價高達萬元,市場反響平平。據WindowsCentral最新消息,微軟將會推出旗下首款折疊屏手機—

2023-02-10

逐漸確立牢不可破的地位。雖然十多年前也曾遭遇雅虎和微軟的挑戰,但隨著時間的推移,谷歌目前的市場份額已經達到九成,而且還在持續增長。除中國、俄羅斯等極少數市場之外,谷歌幾乎主導全球所有的搜索市場。Statcount

2023-03-17

鈕祜祿·大眼夾回宮!不對,Copilot正式發佈!3月16日,微軟突然又整個大活:將GPT-4接入自己全套的辦公套件,推出帶有“AI助手”的Microsoft365Copilot。這位助手不僅可以快速生成文字初稿,還能幫你修改文章的風格,甚至可以直