**劃重點:**
1. 🚀 Silo AI總部位於芬蘭赫爾辛基,推出Poro,旨在提升歐洲語言的多語言人工智能能力。
2. 🤖 Poro是首個計劃覆蓋歐盟所有24種官方語言的開源模型,由Silo AI的SiloGen和圖爾庫大學的TurkuNLP研究小組開發。
3. 🌍 Poro使用跨語言訓練方法,利用來自高資源語言(如英語)的數據,旨在解決為歐洲低資源語言訓練性能卓越的核心挑戰。
站長之傢(ChinaZ.com) 11月14日 消息:芬蘭赫爾辛基的人工智能初創公司Silo AI本周發佈Poro,這是一個旨在提升歐洲語言多語言人工智能能力的新開源大型語言模型(LLM)。Poro是計劃中的首個開源模型,旨在最終涵蓋歐盟所有24種官方語言。這些模型由Silo AI的SiloGen生成人工智能部門和圖爾庫大學的TurkuNLP研究小組共同開發。
Silo AI的首席執行官Peter Sarlin在接受VentureBeat采訪時表示:“這是數字主權的問題,你希望確保有模型捕捉到價值基礎、文化和語言。最終,這是關於價值創造,確保不僅歐洲,而且任何公司都能創造價值,能夠創建在歐洲內部和在組織內部保持的專有模型。”
Poro34B模型擁有34.2億參數,以芬蘭語中“馴鹿(reindeer)”一詞命名,采用BLOOM變壓器架構和ALiBi嵌入。它在覆蓋英語、芬蘭語以及編程語言如Python和Java的21萬億標記多語言數據集的分區上進行訓練。Poro目前正在芬蘭卡亞尼的LUMI,歐洲最快的超級計算機上進行訓練,該計算機提供512個AMD Instinct MI250X GPU,能夠提供74拍千億次的計算能力。
Sarlin表示,Poro的設計目的是解決為歐洲低資源語言(如芬蘭語)訓練性能卓越的核心挑戰。通過利用跨語言訓練方法,模型能夠利用來自高資源語言(如英語)的數據。
作為對透明度的承諾的一部分,SiloGen將通過Poro Research Checkpoints計劃記錄Poro的訓練進展。Sarlin解釋說:“我們將在模型訓練的各個階段發佈檢查點,這是相當新穎的做法。目前還沒有類似的倡議提供如此透明的模型訓練信息。”根據Silo AI發佈的基準數據,Poro在僅完成30%的訓練時就取得最先進的結果。
Sarlin相信像Poro這樣的開源模型代表人工智能的未來,為主要科技公司封閉的模型提供透明和道德的替代方案。他說:“我個人認為最終會有很多開源替代品。未來最安全的道路是實際上走向開源,並完全解這些模型是如何構建的以及架構是什麼。”
Silo AI計劃在整個訓練過程中繼續發佈定期的Poro檢查點。最終目標是創建一整套覆蓋所有歐洲語言的開源模型傢族。如果初步結果有任何跡象,Poro可能很快將對大科技公司構成競爭壓力。
Poro代表Silo AI與芬蘭圖爾庫大學之間持續合作的一部分。該合作將Silo AI的應用人工智能專業知識和計算資源與圖爾庫大學在多語言語言建模研究方面的領導力相結合。Sarlin表示,這代表行業和學術界如何共同推動人工智能能力發展,特別是對於低資源的歐洲語言。
Poro的發佈標志著自然語言處理領域開放協作和透明度的新時代。Poro Research Checkpoints等倡議為整個社區提供先前被科技巨頭封鎖的工具和見解的訪問途徑。Sarlin說:“我們與安聯、勞斯萊斯、本田、飛利浦等大型品牌合作。我們聽說這些大型企業對最終的法規會是什麼樣子以及他們可以使用哪些模型非常關切。”
如果Poro兌現其承諾,它可能使人們能夠以民主的方式訪問性能卓越的多語言模型,為歐洲提供一個與美國科技公司系統相抗衡的本土替代方案。盡管仍處於早期階段,但Poro在將語言人工智能從專有領域引入開源方面代表著一個重要的裡程碑。