復旦MOSS大模型開源 Github和Hugging Face同時上線


復旦大模型MOSS,正式開源!作為國內首個開放測試的類ChatGPT產品,MOSS開源地址一放出,又沖上知乎熱搜:從官網介紹來看,MOSS是一個擁有160億參數的開源對話語言模型。它由約7000億中英文及代碼單詞預訓練得到,精度要求不那麼高的話,甚至可以在單張3090顯卡上運行。


MOSS支持中英雙語,擁有多輪對話使用多種插件雙重能力,具備搜索引擎、文生圖、計算器、方程求解的“技能點”。


目前,MOSS在GitHub上已有2.3k Star,熱度還在持續上漲中。


那麼,MOSS究竟開源哪些項目,目前有哪些功能?一起來看看。

會解方程,也能生成圖片

據解,這次MOSS開源的是第三輪迭代版本,名叫MOSS 003。

當然,MOSS 003也並非開源全部模型,目前主要開放的是基座預訓練模型,最終模型即將在近期開源:


此前,MOSS已經經歷兩版迭代,一版是公開邀請內測的MOSS 002版本,另一版是內部測試版本OpenChat 001。

三月份大夥兒見證的“國內首個開放測試的ChatGPT”,正是MOSS 002版本。

最新這個版本展現的功能效果如何?

MOSS團隊放出它多輪對話、解方程、寫代碼、生成圖片和回答道德倫理等示例。

這是多輪對話的展示效果,具備資料追根溯源的能力:


這是做數學題的示例,包括雞兔同籠問題:


也包括生成圖片功能:


還有近期網友熱議的AI道德性問題:


當然,這波裡面也不乏“砸場子”的網友。


例如官方GitHub問答中,有網友很想解它的中文能力和chatglm6b相比誰更好,下面有網友調侃:

你是來砸場子的麼?

這也是因為此前團隊在MOSS 002公開測試時曾經表示過,MOSS的中文能力不算太好,這也與訓練數據有關。

除此之外,團隊這次還開源一部分訓練數據。


至於完整數據,復旦MOSS團隊表示“近期會全部開源”。

國內最先發佈的ChatGPT產品

MOSS取自於《流浪地球》裡面那個擁有自我意識的AI。

它由復旦自然語言處理實驗室邱錫鵬團隊研發,2月20日正式發佈。

當時國內一眾大廠還在陸續高調官宣要造ChatGPT,誰都沒想到它就這麼一聲不吭地殺出來。

所以盡管MOSS的參數量比ChatGPT小一個量級,大傢還是蜂擁而上,把服務器都給擠爆。


而發佈沒過一周,復旦大學教授邱錫鵬就在演講中提出,如果優化順利,計劃在三月底開源MOSS。

因為在他看來:

人們之所以很容易有“卡脖子”問題,是因為缺乏一個好的行業生態。

就拿ChatGPT來說,OpenAI公司隻需專註做好模型,算力、數據和系統則交給其他公司。反觀國內,很多公司在做大型語言模型時所有環節都需要自己做,每傢的數據和算力也有限,結果是每傢都做不大。在發展過程中,大型語言模型訓練與在線推理成本過高也是一個重大問題。

因此,他們一開始就考慮要把MOSS開源而不是商業化。

有這樣一個基座,大傢就不用重復開發底層技術,可以在上面接不同的細分領域。

如今,雖晚快一個月,MOSS也說到做到。

你試用過復旦MOSS開源模型嗎?效果如何?


相關推薦

2023-04-14

高舉旗幟來一場革命。其中,尤其引人註目的是一傢名為Hugging Face開源創業公司。目前,Hugging Face已經是全球最受歡迎的開源機器學習社區和平臺,不僅創下GitHub有史以來增長最快的AI項目記錄,估值也一路沖破20億美元。近期

2023-08-29

媒體X(Twitter)上官宣,旗下投資機構Salesforce Ventures領投Hugging Face最新一輪的融資。據外媒援引知情人士消息,Salesforce投2億美元,此輪融資後,Hugging Face估值超過40億美元(約292億元)。這意味著,和上一輪估值比,Hugging Face的估

2023-04-27

4月25日,構建大型開源社區的AI初創公司HuggingFace(抱抱臉)宣佈推出開源聊天機器人HuggingChat。與ChatGPT類似,HuggingChat可以完成一些復雜的生成任務,包括編寫代碼、起草電子郵件、創作歌詞等等,號稱“開源版Android應用商店

2023-02-27

2月27日 消息:據第一財經消息,復旦大學計算機科學技術學院教授邱錫鵬在2023年世界人工智能開發者先鋒大會上表示,如果優化順利,計劃在三月底開源MOSS。“這個模型,我們計劃在這一個月(二月)和人類不斷交互,進行優

2023-02-21

國內第一個對話式大型語言模型MOSS已由復旦大學邱錫鵬教授團隊發佈至公開平臺(https://moss.fastnlp.top/),邀公眾參與內測。當晚,社交媒體上出現截圖,顯示該平臺“服務器流量過載,請明天上午重試”。隨後,該平臺官網發

2022-10-21

今年 3 月發佈,而創建這一數據集的資助者是 Doodlebot、Hugging Face 和 Stability AI。創業未半,爭端已起。當 Stable Diffusion 大火,最終成為價值 1 億美金的項目時,事情就開始變得富有戲劇性。誰才是真正的官方?事情還要從 Stable D

2023-02-21

業界關註的一個焦點。今天,解放日報·上觀新聞記者從復旦大學自然語言處理實驗室獲悉,國內第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發佈至公開平臺,邀公眾參與內測。MOSS可執行對話生成、編程、事實問答等一

2023-02-26

本月早些時候,復旦大學推出國內首個類ChatGPT的對話式大型語言模型,並將其命名為MOSS。這個來自旦大學計算機科學技術學院教授邱錫鵬團隊,與《流浪地球》中人工智能同名的AI模型,目前已經發佈到公開平臺,供大眾用戶

2023-04-10

近日,在復旦大學管理學院主辦的“BeyondChatGPT:大型語言模型引發的時代變革”復旦科創先鋒論壇上,復旦大學計算機科學技術學院教授、MOSS系統負責人邱錫鵬從技術和原理的角度深度解構ChatGPT模型,並介紹國內首個類ChatGPT

2023-03-02

在全球點燃新一輪AI革命,海內外關註度陡增。前不久,復旦大學計算機科學技術學院邱錫鵬團隊發佈類ChatGPT模型MOSS,新聞迅速登上微博熱搜。近日,邱錫鵬團隊接受訪談,詳細介紹人們關註的MOSS。圖說:MOSS大傢最興奮的一天

2023-08-10

。- 集成AI開發工具和存儲庫AI Workbench與GitHub、NVIDIA NGC、Hugging Face等服務集成,開發者可以使用JupyterLab和VS Code等工具,並在不同平臺和基礎設施上進行開發。- 增強協作AI Workbench采用的是以項目為中心的架構,便於開發者進行自

2024-03-03

提示風險,讓視障者出行更安全、生活更便捷。日前,在復旦大學自然語言處理實驗室(FudanNLP)師生的努力下,基於多模態大模型“復旦·眸思”(MouSi)為視障者量身打造的“聽見世界”APP上線,將成為視障人士的生活助手與

2023-10-26

智能(如Meta的開源語言模型Llama2)開始,然後從GitHub和HuggingFace等在線資源庫中尋找數據集,教生成式人工智能系統如何更好地回答問題或總結文本。盡管這些數據集可免費獲取,但根據一項對廣泛使用的數據集進行檢查的最廣

2024-02-22

istral,特別是在數學、代碼能力上表現突出,還直接登頂Hugging Face開源大模型排行榜。Gemma登頂Hugging Face開源大模型排行榜(圖源:X)Google同步放出技術報告,通過深度解讀,智東西註意到除模型性能優異外,Gemma的分詞器詞表