蘋果推出300億參數多模態大模型 全面轉向生成式AI


相較於英偉達、微軟等大型科技股,蘋果今年的表現令人失望不已,股價年內跌逾10%,且失去“全球市值最高公司”的寶座。背後原因很簡單,蘋果在這場人工智能(AI)競賽中落伍。為擺脫窘境,蘋果近期放棄造車項目,正在全面轉向生成式AI領域,並且很快有新動作。

就在近日,蘋果公司研發團隊發佈一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公佈多模態大模型MM1,展示該公司在AI方面的進展與實力。


據悉,MM1最高參數量為300億,該模型支持增強的上下文學習和多圖像推理,在一些多模態基準測試中有較好表現。

研究人員使用這些模型進行實驗,找出影響大模型表現的關鍵因素。有趣的是,圖像分辨率和圖像標簽數量比視覺語言連接器的影響更大,不同的預訓練數據集會顯著影響模型的有效性。

MM1的獨特之處在於其龐大的規模和架構創新,包括密集的模型和混合專傢模型。這些模型證明研究人員方法的有效性,將大規模預訓練與戰略性數據選擇相結合,以增強模型的學習能力。

研發團隊稱,MM1不僅在預訓練指標中是“最先進的”,並且在一系列已建立的多模態基準測試中,經過微調後也保持“有競爭力的”性能。

MM1可以支持增強的上下文學習和多圖像推理,使得少數樣本的思維鏈提示成為可能。

然而,目前MM1的整體性能還沒有完全超過谷歌的Gemini和OpenAI的GPT-4,雖然MM1可能還不是絕對的領導者,但它仍然是蘋果在AI方面的一次重大飛躍。

與此同時,蘋果公司還出手收購AI初創公司DarwinAI。DarwinAI以創建更小、更快的AI系統見長,這是實現設備上高效處理的關鍵因素。收購完成後,DarwinAI的網站和社交媒體賬戶已悄然下線。

據悉,數十名DarwinAI員工已經加入蘋果的AI部門,作為交易的一部分,滑鐵盧大學的AI研究員Alexander Wong已加入蘋果,擔任AI團隊的總監。


相關推薦

2023-02-24

啟動中文大模型研發,2021年阿裡先後發佈國內首個超百億參數的多模態大模型M6及被稱為“中文版GPT-3”的語言大模型PLUG,此後還訓練實現全球首個10萬億參數AI模型。

2023-04-05

在內的主要負責人將出席主論壇。消息人士稱,阿裡11日推出大模型,18日推出行業應用類模型,接下來還有各類的行業應用類模型會面世。之前,有博主測試天貓精靈,發現已經上線阿裡版ChatGPT語音助手版,那位博主一共測試1

2023-03-28

比如OpenAI最新發佈的多模態預訓練大模型GPT-4,Google最新推出“通才”大模型PaLM-E,擁有世界最大規模的5620億參數,能看圖說話、能操控機器人,以及剛剛解決AI繪畫手指問題的Midjourney等等。但在快速發展的過程中,美國業界對

2024-02-27

,並為更復雜的應用提供支持,基於這樣一種趨勢,高通推出全新的高通AI Hub,為開發者打造獲取開發資源的中心,從而基於驍龍或高通平臺打造AI應用。高通AI Hub將支持超過75個AI模型,包括傳統AI模型和生成式AI模型。通過對

2024-04-09

3月底,“階躍星辰”一口氣推出兩款AI產品——“躍問”和“冒泡鴨”,成功引起大傢的註意!先簡單介紹下階躍星辰,這是一傢專註於通用人工智能研究的公司,成立於2023年4月,致力於推動人工智能技術的發展,並已推出Step

2024-04-01

文,天工大模型3.0將於4月17日正式發佈,並同步開源4000億參數MoE超級模型。這一模型采用4千億級參數MoE混合專傢模型,是全球模型參數最大、性能最強的MoE模型之一。相較於上一代天工2.0”MoE大模型,天工3.0在多個領域均展現

2023-11-05

今年8月,上海交通大學聯合清華大學及愛丁堡大學共同推出適用於大語言模型的多層次多學科中文評估套件“C-Eval”。在中文大模型能力排行榜上,360智腦大模型的千億參數版本“360GPT-S2”平均分超過GPT-4。結果顯示,360智腦大

2023-12-07

、理解等能力,同時繼續保持免費。Google預計在明年初將推出“Bard Advanced”,其將使用 Gemini Ultra。這是 Bard 問世以來最大的更新。自 ChatGPT 發佈以來,我們一直對Google聲稱的競品 Gemini 模型的能力非常好奇,這款大模型早在今

2024-02-22

a 2的跑分對比(圖源:Google)在發佈權重的同時,Google還推出Responsible Generative AI Toolkit等一系列工具,為使用Gemma創建更安全的AI應用程序提供指導。此外,Google通過原生Keras 3.0為JAX、PyTorch和TensorFlow等主要框架提供推理和監督微

2023-03-10

加快這個進程。最新消息是,萬眾期待的 GPT-4 下周就要推出:在 3 月 9 日舉行的一場名為“AI in Focus - Digital Kickoff”的線下活動中,四名微軟德國員工展示 GPT 系列等大型語言模型(LLM)的顛覆性力量,以及 OpenAI 技術應用於 Azur

2024-02-22

開源領域大模型,迎來重磅新玩傢。Google推出全新的開源模型系列“Gemma”。相比Gemini,Gemma更加輕量,同時保持免費可用,模型權重也一並開源,且允許商用。Gemma 官方頁面:https://ai.google.dev/gemma/本次發佈包含兩種權重規模的

2024-03-26

25日消息,過去一周,國內外AI圈子又有眾多話題湧現。蘋果公司CEO蒂姆·庫克(Tim Cook)的中國之行成為觀察蘋果生成式AI發展動態的窗口;英偉達的2024 GTC大會CEO黃仁勛攜新的超級GPU亮相,要為更大規模的生成式AI模型訓練掃清

2023-12-07

領先10-20%。推理性能,都是八路並聯的整套服務器,1760億參數模型Bloom的算力可領先多達60%,700億參數模型Llama 2的延遲可領先40%。訓練性能,同樣是八路服務器,300億參數MPT模型的算力不相上下。總的來說,無論是AI推理還

2023-11-03

卓客戶的發展軌跡。”值得一提的是,此前有傳聞顯示,蘋果公司在未來數年內將會采用自研的5G調制解調器。但是,在今年9月,高通宣佈與蘋果簽署一項協議,將持續向其供應5G芯片至2026年。積極發展端側生成式AI,並進入PC