Silo AI面向歐洲推新開源語言模型“Poro” 涵蓋歐盟24種語言


**劃重點:**

1. 🚀 Silo AI總部位於芬蘭赫爾辛基,推出Poro,旨在提升歐洲語言的多語言人工智能能力。

2. 🤖 Poro是首個計劃覆蓋歐盟所有24種官方語言的開源模型,由Silo AI的SiloGen和圖爾庫大學的TurkuNLP研究小組開發。

3. 🌍 Poro使用跨語言訓練方法,利用來自高資源語言(如英語)的數據,旨在解決為歐洲低資源語言訓練性能卓越的核心挑戰。

站長之傢(ChinaZ.com) 11月14日 消息:芬蘭赫爾辛基的人工智能初創公司Silo AI本周發佈Poro,這是一個旨在提升歐洲語言多語言人工智能能力的新開源大型語言模型(LLM)。Poro是計劃中的首個開源模型,旨在最終涵蓋歐盟所有24種官方語言。這些模型由Silo AI的SiloGen生成人工智能部門和圖爾庫大學的TurkuNLP研究小組共同開發。

Silo AI的首席執行官Peter Sarlin在接受VentureBeat采訪時表示:“這是數字主權的問題,你希望確保有模型捕捉到價值基礎、文化和語言。最終,這是關於價值創造,確保不僅歐洲,而且任何公司都能創造價值,能夠創建在歐洲內部和在組織內部保持的專有模型。”

Poro34B模型擁有34.2億參數,以芬蘭語中“馴鹿(reindeer)”一詞命名,采用BLOOM變壓器架構和ALiBi嵌入。它在覆蓋英語、芬蘭語以及編程語言如Python和Java的21萬億標記多語言數據集的分區上進行訓練。Poro目前正在芬蘭卡亞尼的LUMI,歐洲最快的超級計算機上進行訓練,該計算機提供512個AMD Instinct MI250X GPU,能夠提供74拍千億次的計算能力。

Sarlin表示,Poro的設計目的是解決為歐洲低資源語言(如芬蘭語)訓練性能卓越的核心挑戰。通過利用跨語言訓練方法,模型能夠利用來自高資源語言(如英語)的數據。

作為對透明度的承諾的一部分,SiloGen將通過Poro Research Checkpoints計劃記錄Poro的訓練進展。Sarlin解釋說:“我們將在模型訓練的各個階段發佈檢查點,這是相當新穎的做法。目前還沒有類似的倡議提供如此透明的模型訓練信息。”根據Silo AI發佈的基準數據,Poro在僅完成30%的訓練時就取得最先進的結果。

Sarlin相信像Poro這樣的開源模型代表人工智能的未來,為主要科技公司封閉的模型提供透明和道德的替代方案。他說:“我個人認為最終會有很多開源替代品。未來最安全的道路是實際上走向開源,並完全解這些模型是如何構建的以及架構是什麼。”

Silo AI計劃在整個訓練過程中繼續發佈定期的Poro檢查點。最終目標是創建一整套覆蓋所有歐洲語言的開源模型傢族。如果初步結果有任何跡象,Poro可能很快將對大科技公司構成競爭壓力。

Poro代表Silo AI與芬蘭圖爾庫大學之間持續合作的一部分。該合作將Silo AI的應用人工智能專業知識和計算資源與圖爾庫大學在多語言語言建模研究方面的領導力相結合。Sarlin表示,這代表行業和學術界如何共同推動人工智能能力發展,特別是對於低資源的歐洲語言。

Poro的發佈標志著自然語言處理領域開放協作和透明度的新時代。Poro Research Checkpoints等倡議為整個社區提供先前被科技巨頭封鎖的工具和見解的訪問途徑。Sarlin說:“我們與安聯、勞斯萊斯、本田、飛利浦等大型品牌合作。我們聽說這些大型企業對最終的法規會是什麼樣子以及他們可以使用哪些模型非常關切。”

如果Poro兌現其承諾,它可能使人們能夠以民主的方式訪問性能卓越的多語言模型,為歐洲提供一個與美國科技公司系統相抗衡的本土替代方案。盡管仍處於早期階段,但Poro在將語言人工智能從專有領域引入開源方面代表著一個重要的裡程碑。


相關推薦

2022-09-25

逼近人類水平的語音識別系統來?沒錯,OpenAI新開源一個名為「Whisper」的新語音識別系統,據稱在英文語音識別方面擁有接近人類水平的魯棒性和準確性!不僅如此,對於不同口音、專業術語的識別效果也是杠杠的!一經發佈

2024-08-15

快科技8月15日消息,AMD近日宣佈完成對歐洲最大的私人AI實驗室Silo AI的收購,交易價值約6.65億美元,約合48億元人民幣,全部以現金支付。Counterpoint研究副總監Mohit Agrawal指出,這一戰略性收購預計將顯著增強AMD在人工智能領域

2022-11-02

工智能訓練數據集中表現不佳的語言(也被稱為"低資源語言")。"語言就像生物體,它們是相互演化而來的,它們有某些相似之處。通過讓一個單一的模型接觸並訓練許多不同的語言,我們在低資源語言上得到更好的

2023-02-13

嗎?騰訊AI Lab的調查文指出:首先,在高資源環境——如歐洲語言上——ChatGPT的表現與商業翻譯產品(如Google翻譯、DeepL Translate)相比具有競爭力,但是,在低資源環境——如古代語言——明顯落後;其次,在翻譯的魯棒性上

2024-02-15

我們的社區可以找到可信和權威信息的地方。""與歐洲選舉相關的視頻將被標註,引導人們前往相關的選舉中心。作為我們更廣泛的選舉誠信工作的一部分,我們還將在標簽上添加提醒語,鼓勵人們遵守我們的規則,核實

2022-07-07

統NLLB-200,該系統可以高質量翻譯多達200種語言,致力於面向更廣闊人群服務。•NLLB是“No Language Left Behind”的縮寫,該AI系統可以高質量翻譯世界上多達200種語言,除主流語言外,其中還包含多達55種非洲系語言。•Meta公司表

2023-11-24

交所以及SAP等等。該聯合組織在一封信函中表示:“為讓歐洲多數國傢最終成為全球數字產業強國,我們迫切需要能夠利用基礎模型和GPAI引領人工智能創新浪潮的那些獨角獸公司。”“作為歐洲數字行業的不同代表,我們看到AI

2024-07-11

司Silo AI,力圖縮小與行業領導者NVIDIA的差距。Silo AI作為歐洲最大的私人AI實驗室之一,專註於為企業提供定制化的AI模型和平臺。此次收購將使AMD獲得Silo AI的300名成員團隊,這些成員將使用其軟件工具構建定制的大型語言模型

2022-09-22

偏差和約束的 AI 研究人員。與此同時,它也很適合作為面向開發者的自動語音識別解決方案尤其是英語語音識別。感興趣的朋友,可以從托管平臺上下載 Whisper 系統的多個版本,其模型在大約 10 種語言上展現出強大的 ASR 結果

2024-04-19

沒有出乎太多意外,Meta帶著號稱“有史以來最強大的開源大模型”Llama3系列模型來“炸街”。具體來說,Meta本次開源8B和70B兩款不同規模的模型。Llama38B:基本上與最大的Llama270B一樣強大。Llama 3 70B: 第一檔 AI 模型,媲美 Gemini 1

2023-02-25

天,Meta終於官宣自傢的大語言模型,並且會向AI研究人員開源。今天,Meta終於向全世界證明:自己是有正經研究AI的!眼看微軟、Google、OpenAI這一陣子掙足眼球,Meta也坐不住。2月24日,小紮官宣下場:我們有全新的SOTA大語言模

2024-04-19

AI圈又迎來一件大事:Meta正式發佈他們迄今最強的新一代開源大語言模型Llama3。首批發佈的Llama38B和Llama370B包括預訓練和指令微調版本,8K上下文,在兩個24KGPU定制集群上使用15萬億tokens數據訓練而成,Meta稱它們分別是80億和700億

2023-05-11

是AI創造的。PaLM 2驅動的升級版Bard 學習20多種編程語言 面向180個國傢地區開放申請Google宣佈,升級AI聊天機器人Bard,讓它改由PaLM 2驅動,可以提供更高明的回復,從本周三起,讓約180個國傢地區的用戶都可以開放申請使用Bard。G

2023-04-14

蓬勃發展的開源社區,從2020年開始,Hugging Face也開始做面向企業的定制自然語言模型,其客戶涵蓋彭博社、高通、英特爾等各類大中小型公司,並推出包括AutoTrain、Inference API & Infinity、Private Hub、Expert Support等針對不同開發者