國傢隊來!國產中文大語言模型“天河天元”發佈:由天河超算訓練


5月21日消息,5月18日,2023第七屆世界智能大會於國傢會展中心(天津)正式開始。而天河新一代超級計算機是中國新一代百億億次超級計算機,也在此次展會迎來首次亮相。

同時,為充分發揮超算在算力方面的優勢,推動國產異構超級計算機平臺在AI應用開發和服務領域中的應用。

國傢超算天津中心在大會上發佈天河E級智能計算開放創新平臺”和天河天元大模型”。

據介紹,中文大語言模型的數據集非常稀缺。國傢超算天津中心搜集整理網頁數據、各種開源訓練數據、中文小說數據、古文數據、百科數據、新聞數據,以及專業領域的中醫、醫藥、問診、法律等多種數據集。

訓練數據集總token數達到350B,最終訓練打造出自己的中文語言大模型天河天元大模型。

據悉,天河E級智能計算開放創新平臺”將帶來突破百億億次的跨模態的超級計算算力,支撐傳統的科學工程計算,並服務智能混合計算,打造全方位的算力賦能創新和數字經濟高質量發展載體。


相關推薦

2023-12-06

12月6日,2023年超算創新應用大會在廣州舉行。國傢超算廣州中心在會上正式發佈新一代國產超級計算系統——“天河星逸”。該系統以應用為中心,采用國產先進計算架構、高性能多核處理器、高速互連網絡、大規模存儲等關

2023-02-21

發門檻很高,需要大量算力、訓練語料和人工標註。在我國產業界,隻有大型機構才有實力開發大模型。MOSS開源後,可有效降低預訓練語言模型的研發和應用門檻,讓中小企業在其基礎上開發出智能客服、智能傢居、人工智能

2023-03-28

傢主要關註的還是中美兩國的進展。在此之外,世界其他國傢和地區如何看待AI大模型,在發展大模型上又進展如何,不同國傢和地區的AI大模型發展呈現出哪些特點?這些問題在中美的光環下其實是失焦的。所謂他山之石可以

2023-04-07

優勢。ChatGPT這把火燒到如今,國內對具備足夠競爭力的國產生成式大模型的需求,正在與日俱增。ChatGPT類產品提升生產效率的潛力,已經被不斷驗證。但與此同時,前有ChatGPT大規模封號、亞洲成重災區,後有OpenAI因算力問題停

2023-04-16

其和奇點智源合作自研、中國第一個真正實現智能湧現的國產大語言模型 ——“天工”3.5發佈在即,並將於4月17日啟動邀請測試。未來,“天工”4和“天工”5也將與大傢見面。“天工”大模型已經非常接近OpenAI ChatGPT的智能水

2023-04-18

自演示中,這個智腦還存在不少錯誤的,比如這個梅西為國傢隊踢進多少個球,重新生成很多次,就是沒有辦法答對,甚至旁邊的搜索欄都給出答案。所以在測試前,老實說,咱們對它也沒抱有多大的期待。而且還有一個問題,

2023-04-16

”OpenAssistant 的回答相對而言更有條理性。03.體驗下來,中文不太行目前的 Open Assistant 基於“OA_SFT_Llama_30B”模型,最大新 token 的數量為 1024,支持英文、中文、日語等數十種語言。先讓它做一下自我介紹。然而在中文對話體驗

2023-04-01

上周,虎嗅旗下虎學研究欄目更新《中文在人工智能大潮中註定落後嗎?》這期節目,節目播出後,我們收到來自各方面的討論和質疑,問題主要分兩類:其中一類就是有不少人工智能從業者指出我們對ChatGPT原理理解得不夠透

2023-11-09

發佈星火認知大模型,三天後SuperCLUE發佈榜單,星火排在國產第一;6月13日360集團發佈360智腦大模型,六天後SuperCLUE更新榜單,360成第一。再後來的7月、8月、9月、10月榜單,拿下國產第一的分別是百度、百川智能、商湯、vivo。

2022-10-13

於 百億水平。但值得關註的是,實驗結果顯示,它在18個中文語言任務裡, 效果堪比參數量是其25倍的模型。是不是有點手癢想上手一試?先奉上鏈接,咱們再仔細說說,這波微信是怎麼做到的。體驗鏈接:https://welm.weixin.qq.com/

2024-03-18

與OpenAI、谷歌、微軟等對手在大模型領域進行競爭,其團隊來自OpenAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業和研究機構。目前,xAI並沒有放出Grok-1的具體測試成績,它與其他公司的大模型之戰將成為業內關註的

2022-10-09

今日上午,國傢超級計算長沙中心“天河”新一代超級計算機系統運行啟動儀式在湖南大學舉行,這意味著國傢超算長沙中心主機系統升級基本完成。“天河”新一代超級計算機投入運行後,國傢超算長沙中心將在構建先進計算

2023-03-23

稱質疑文心一言文生圖功能抄襲“StableDiffusion”,同時在中文語義理解方面存在局限。對此,百度方面回應新浪財經表示,“文心一言完全是百度自研的大語言模型,文生圖能力來自文心跨模態大模型ERNIE-ViLG。”據百度方面介

2023-03-17

數量就從2個增至21個,和美國量級同等,大幅領先於其他國傢。除百度文心大模型在市場格局中處於第一梯隊外,2021年4月,一眾科技大廠繼百度之後集中公開各自的大模型產品,華為公佈千億級參數規模的盤古大模型,阿裡巴