微軟研究院發佈Orca 2 LLM 其性能可媲美大語言模型


微軟可能已經與OpenAI及其GPT大型語言模型合作,幫助創建生成式人工智能服務,如Copilot(前身為必應聊天工具)。不過,該公司也在開發自己的語言模型。本周,微軟研究院宣佈發佈Orca2,這是其Orca語言的第二個版本。

微軟在一篇博文中表示,Orca 2 是專為小規模 LM 設計的,但仍可用於回答 LLM 等復雜問題。Orca 2有兩種大小(70億和130億個參數),部分是利用今年早些時候微軟幫助Meta推出的Llama 2 LLM制作的。該公司"根據量身定制的高質量合成數據"對基於 Llama 2 的模型進行微調。

微軟表示,這使得Orca 2模型在處理問題時能夠與其他"5-10倍大"的語言模型相媲美:

Orca 2 使用擴展的、高度定制的合成數據集進行訓練。這些訓練數據的生成,向 Orca 2 傳授各種推理技術,如逐步處理法、回憶然後生成法、回憶-推理-生成法、提取-生成法和直接回答法,同時還教會它針對不同的任務選擇不同的解決策略。

1700597424_orca2_fig1.jpg

Orca 2 模型與 Llama 2 和 WizardLM 等大型語言模型進行一系列基準測試,測試內容包括"語言理解、常識推理、多步驟推理、數學問題解決、閱讀理解"等。

微軟官方博客稱:我們的初步測試結果表明,Orca 2 的性能大大超越類似規模的模型。它還達到類似或優於至少比它大 10 倍的模型的性能水平,展示為更小的模型配備更好的推理能力的潛力。

雖然微軟承認Orca 2確實存在局限性,但迄今為止的測試顯示"未來進步的潛力"。微軟將把 Orca 2 作為一個開源項目發佈,以便其他人也能對其進行開發。


相關推薦

2024-04-23

微軟推出其輕量級人工智能模型Phi-3Mini的下一個版本,這是該公司計劃發佈的三款小型模型中的第一款。Phi-3Mini可測量38億個參數,其訓練數據集比GPT-4等大型語言模型要小。它現在可在Azure、HuggingFace和Ollama上使用。微軟計劃發

2023-05-17

果,但該公司卻不願發佈其訓練數據的規模和其他細節。微軟支持的OpenAI也對其最新的GPT-4大語言模型的細節信息保密。這些公司表示,之所以不披露這些信息,是出於商業競爭考慮。谷歌和OpenAI都在努力吸引想要用聊天機器人

2023-02-25

天,Meta終於向全世界證明:自己是有正經研究AI的!眼看微軟、Google、OpenAI這一陣子掙足眼球,Meta也坐不住。2月24日,小紮官宣下場:我們有全新的SOTA大語言模型LLaMA。劃重點:和OpenAI的ChatGPT、Google的Bard不同,LLaMA這個AI並不

2024-05-07

開發自己的人工智能模型,名為Ajax。通過仔細研讀蘋果發佈的人工智能研究論文,可以感知到該公司的AI策略日漸成型。當然,我們應認識到,從研究到產品的轉化是一個復雜且充滿不確定性的過程。但隨著蘋果預計在今年六月

2023-04-14

“全傢桶”,重磅空降ChatGPT引發的全球AI大競賽戰場!與微軟、谷歌從消費級產品切入的做法不同,亞馬遜旗下的AWS精準狙擊企業用戶,且產品覆蓋IaaS實例、PaaS平臺、SaaS軟件全棧技術層。至此,國外公有雲巨頭AWS、微軟Azure、

2023-03-10

大語言模型(LLM)的處理能力。這些模型支撐著ChatGPT和微軟新必應搜索等服務。運行這些模型原本需要高昂的算力成本,因此可能會嚴重拖累模型的廣泛應用。搜索引擎You.com首席執行官、知名計算機科學傢理查德·索切(Richard

2024-02-20

SRAM 容量為 230 MB。所有這些共同作用,為 Groq 提供出色的性能,在過去幾天的互聯網上掀起波瀾。在Mixtral 8x7B 模型中,Groq LPU 的推理速度為每秒 480 個令牌,在業內處於領先地位。在 Llama 2 70B 等上下文長度為 4096 個令牌的模型

2024-03-09

雖有盈利潛力,但為追求增長還是選擇虧損經營。據說,微軟會因為Github Copilot上每增加一位用戶而每月虧損20美元,不過Midjourney已經實現盈利。不過,這已經足夠讓科技巨頭和風投公司投入數十億美元,來購買硬件和招募機器

2024-02-28

沃倫(ElizabethWarren)發出反壟斷呼籲,要求禁止亞馬遜、微軟和谷歌這三大科技巨頭開發大語言模型(LLM)人工智能技術,並呼籲亞馬遜和谷歌將業務分拆。限制科技巨頭開發LLM人工智能沃倫在華盛頓的一場會議上表示,應該對

2023-04-14

遜不會將生成式人工智能領域的巨大商機拱手讓給谷歌和微軟等競爭對手。眾所周知,微軟和谷歌已經開始為開發者提供可以利用的大型語言模型。通過Bedrock生成式人工智能服務,亞馬遜旗下雲服務AWS將向開發者提供自傢的語

2023-02-06

,圖靈獎得主Yann LeCun心態有些崩。自從ChatGPT大火之後,微軟憑著Open AI腰板挺得很直。被啪啪打臉的Google,也不說什麼‘聲譽風險’。所有旗下的語言模型,無論是LAMDA,還是DeepMind的Sparrow,以及Apprentice Bard,是能加快的加快,

2023-11-09

的模型。這些消息人士還補充說,目前亞馬遜還沒有制定發佈新模型的具體時間表。LLM是人工智能工具的基礎技術,這些工具可從海量數據集中學習,生成類似人類的反應。考慮到所需的計算能力,訓練更大的人工智能模型成本

2024-03-06

型,真正做到與GPT-4全面掰手腕。要知道,從OpenAI去年3月發佈“最強大模型”GPT-4到今天,整整一年來,這是第一款真正挑戰到其天花板地位的模型,不僅評測成績通通趕超,而且是在幾個測試任務中以零樣本戰勝對手,還在第

2024-03-13

微軟今天提升其Copilot生成式人工智能聊天機器人的性能。據證實,所有免費Copilot用戶現在都可以訪問OpenAI的GPT-4Turbo大語言模型。在此之前,要訪問 GPT-4 Turbo LLM,必須購買微軟的 Copilot Pro 服務,每月費用為 20 美元。不過,今天