5000億參數 傳微軟準備推出自研大模型MAI-1


5月7日消息,美國時間周一,有報道稱微軟正在訓練名為MAI-1的內部人工智能語言模型,其規模可與谷歌和OpenAI的大模型相媲美。根據兩名微軟員工的說法,MAI-1模型由最近微軟挖來的谷歌DeepMind聯合創始人、人工智能初創公司Inflection前首席執行官穆斯塔法·蘇萊曼(MustafaSuleyman)負責。

imagem_2023-04-18_145303492-1080x608.webp

據悉,微軟還未明確MAI-1模型的確切用途,具體取決於模型效果如何。報道稱,微軟可能會在本月晚些時候召開的Build開發者大會上預覽這款新模型。

微軟對此拒絕發表評論。

據報道,MAI-1規模將比微軟之前訓練的小型開源模型“大得多”,這意味著其也會更加昂貴。

上個月微軟推出一款名為Phi-3-mini的小型人工智能模型,希望用有成本效益的產品吸引更多客戶群體。

微軟向OpenAI投資上百億美元,並在旗下生產力軟件中部署OpenAI的人工智能技術,從而在生成式人工智能領域的早期競賽中取得領先地位。

據報道,為提升該模型,微軟已經配置裝備英偉達GPU的大型服務器集群,並儲備大量數據。

報道稱,MAI-1將有大約5000億個參數。相比之下,OpenAI的GPT-4據稱有1萬億個參數,Phi-3 mini有38億個參數。

今年3月份,微軟任命蘇萊曼為新成立的消費級人工智能部門負責人,同時還聘用Inflection的幾名員工。

報道補充說,新模型並不是源自Inflection,但可能用到這傢創業公司的訓練數據。(辰辰)


相關推薦

2024-03-18

6個月掏出3410億參數自研大模型,馬斯克說到做到!就在剛剛,馬斯克的AI創企xAI正式發佈此前備受期待大模型Grok-1,其參數量達到3140億,遠超OpenAIGPT-3.5的1750億。這是迄今參數量最大的開源大語言模型,遵照Apache2.0協議開放模

2023-04-13

成、圖像生成、多模態內容生成等能力與場景應用。超10億參數自研文生圖生成模型“秒畫”,支持二次元等多種生成風格。單卡A100支持,2秒生成1張512K分辨率的圖片。用戶可基於單卡A100自訓練。基於平臺發佈的模型,可設置to

2024-05-12

AI最新能力集成到自傢產品線中,甚至可能會透露最新5000億參數自研大模型MAI-1。還有萬眾期待的蘋果WWDC大會,將發佈集成生成式AI能力的iOS 18系統,並把ChatGPT塞進iPhone之中。一系列重磅發佈,連番轟炸,簡直不給其他公司喘氣

2024-04-09

技術的發展,並已推出Step系列通用大模型,包括Step-1千億參數語言大模型、Step-1V千億參數多模態大模型,以及Step-2萬億參數MoE語言大模型的預覽版,並基於這些模型開發產品效率工具躍問和A特別值得一提的是,這兩款產品都基

2023-11-05

C-Eval”。在中文大模型能力排行榜上,360智腦大模型的千億參數版本“360GPT-S2”平均分超過GPT-4。結果顯示,360智腦大模型千億參數版本“360GPT-S2”平均分得分為69分。不僅超過GPT-4平均分,並在社會科學類題目中得分82分,超過G

2023-11-11

亞馬遜的“秘密武器”很可能將在12月亮相,取代OpenAI的時刻要來?“百模大戰”中存在感不高的亞馬遜如今正在醞釀他的“秘密武器”。11月8日,媒體報道稱,亞馬遜正在訓練他的第二個大語言模型——內部代號為“Olympus”,

2024-02-28

據媒體報道稱,OpenAI大股東微軟(MSFT.US)宣佈投資來自歐洲的人工智能初創公司MistralAI僅一天不到的時間,但歐盟的反壟斷監管機構已經計劃對這一合作進行全面審查和分析。周一,這傢總部位於巴黎的AI初創公司表示,將其研

2024-03-18

相較於英偉達、微軟等大型科技股,蘋果今年的表現令人失望不已,股價年內跌逾10%,且失去“全球市值最高公司”的寶座。背後原因很簡單,蘋果在這場人工智能(AI)競賽中落伍。為擺脫窘境,蘋果近期放棄造車項目,正在

2024-07-12

有一定先發優勢。早在2020年,智譜AI就研發並訓練一個百億參數的模型。OpenAI發佈GPT-3模型後,智譜AI加大在預訓練大模型上的投入,後來幾乎全模型產品線對標OpenAI。從整體的觀感上,智譜AI對外展現的形象很正,講的故事也很

2023-02-11

其中OpenAI與Google就是最重要的兩傢。2018年,OpenAI推出1.17億參數的GPT-1,Google推出3億參數的BERT,雙方展開一場NLP的較量。GPT與BERT采用不同的技術路線。簡單理解,BERT是一個雙向模型,可以聯系上下文進行分析,更擅長“完形填

2023-02-25

),以及自傢復現的開源模型OPT。而LLaMA-65B則與DeepMind 700億參數的Chinchilla-70B和Google5400億參數的PaLM-540B旗鼓相當。論文地址:https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/與Chinchilla、PaLM或GPT-3不同的是

2024-03-22

3月22日消息,美國當地時間周四,據知情人士透露,微軟已經同意支付約6.5億美元現金,與人工智能初創公司InflectionAI達成一項不同尋常的協議。根據該協議,微軟將獲得Inflection大模型的使用權,並將其大部分員工納入麾下,

2023-03-21

微軟已經撰寫一篇新的技術社區博客文章,讓企業知道統一更新平臺(UUP)的更新機制將從3月28日上線。隨著UUP在企業內部的推出,企業將能夠期待更小的更新下載,然而,在下周的更新中,將有一個一次性的10GB下載。一旦安

2023-11-29

100位用戶都選擇使用Graviton。Trainium2速度提高四倍 訓練萬億參數級模型AWS的另一款新品——新一代AI芯片Trainium2速度比前代Trainium1快四倍,將能在EC2 UltraCluster中部署多達10萬個芯片,讓用戶能在很短的時間內訓練數以萬億參數的