全球首個!中國電信發佈單體稠密萬億參數語義模型Tele-FLM-1T


快科技6月19日消息,據中國電信”官微發文,中國電信人工智能研究院(TeleAI)聯合北京智源人工智能研究院發佈全球首個單體稠密萬億參數語義模型Tele-FLM-1T,成為國內首批發佈稠密萬億參數大模型的機構。

面對大模型訓練過程中算力消耗巨大的挑戰,TeleAI與智源通過深度研發,結合模型生長和損失預測等關鍵技術,成功推出Tele-FLM系列模型。這一系列模型在算力資源的使用上,僅消耗業界普通訓練方案的9%,展現出極高的算力能效。

通過使用112臺A800服務器,TeleAI團隊在短短4個月內完成3個模型總計2.3T tokens的訓練,全程無需任何調整和重試,充分證明模型訓練的穩定性和收斂性。

值得一提的是,Tele-FLM-1T版本即將開源,此舉旨在為社區提供訓練萬億稠密模型的技術參考,有效解決萬億模型訓練收斂難等問題,進一步推動大模型技術的進步。

TeleAI不僅在技術創新上不斷突破,還積極通過開源方式推動大模型技術的普及和國產化進程。他們接連開源7B、12B、52B參數規模的大模型,這些模型在開源社區中引發廣泛討論和使用,開源模型下載量已超過萬次,吸引超過40萬用戶


相關推薦

2024-05-26

技5月26日消息,日前,中國電信人工智能研究院發佈業內首個支持30種方言自由混說的語音識別大模型星辰超多方言語音識別大模型。該大模型解決單一模型隻能識別特定單一方言的痛點,能同時識別理解粵語、上海話、四川話

2024-03-24

快科技3月24日消息,中國電信官方宣佈,首個國產單池萬卡液冷算力集群,天翼雲上海臨港國產萬卡算力池正式啟用,首批用戶也同時入駐。據介紹,這不僅是國內首個投入正式運營的國產單池萬卡液冷算力集群,也是業內領先

2023-10-31

在將人工智能業務擴展到制造、金融、教育、公共部門等全球市場。韓國電信表示,這是韓國企業開發的第一個大語言模型(LLM),該模型已在超過1萬億個token上進行訓練。Mi:dm將提供四種不同的模型,從包含約70億個參數的“

2024-06-30

濟訴求的網絡的關鍵技術突破。6月18日,3GPP宣佈5G-A標準首個版本正式凍結,標志著5G-A商用元年的開啟。與5G相比,5G-A在上下行速率、低時延、大連接等網絡能力方面有顯著提升,同時還引入內生智能、空天地融合等革命性的新

2023-03-28

ChatGPT在全球掀起AI大模型的浪潮。在美國,以OpenAI、Anthropic等初創企業和以微軟、Google為代表的科技巨頭帶領著美國在AI大模型的道路上蒙眼狂奔,最大參數已卷到5620億。在中國,美團王慧文、阿裡賈揚清、前搜狗CEO王小川、前

2024-04-01

級模型。這一模型采用4千億級參數MoE混合專傢模型,是全球模型參數最大、性能最強的MoE模型之一。相較於上一代天工2.0”MoE大模型,天工3.0在多個領域均展現驚人的性能提升。其在模型語義理解、邏輯推理、通用性、泛化性

2023-03-15

上進行訓練與推理。2022年11月,斯坦福大學大模型中心對全球30個主流大模型進行全方位的評測2,GLM-130B 是亞洲唯一入選的大模型。在與 OpenAI、谷歌大腦、微軟、英偉達、臉書的各大模型對比中,評測報告顯示 GLM-130B 在準確性

2023-10-15

理成本的結果。而文心大模型4.0作為單一模型,將是國內首個萬卡集群訓練的稠密參數大語言模型。萬卡集群背後,如何更好的發揮性能呢?對於百度來講,恰好因為過去十年如一日的技術投入,正式因為文心與飛槳的聯合優化

2024-04-17

of Experts)大模型,其參數量超越此前的Grok- 1 模型,成為全球最大的同類模型。在語義理解、邏輯推理、通用性、泛化性、不確定性知識、學習能力等多個領域,「天工3.0」都展現出突破性的性能提升。這款模型的發佈,不僅為

2023-04-05

席兼CEO張勇,阿裡雲智能首席技術官周靖人、阿裡雲智能全球商業總裁蔡英華在內的主要負責人將出席主論壇。消息人士稱,阿裡11日推出大模型,18日推出行業應用類模型,接下來還有各類的行業應用類模型會面世。之前,有

2023-11-11

2023數字科技生態大會舉辦期間,中國電信推出新一代3D數字人生成技術。據介紹,中國電信新一代3D數字人生成技術,實現分鐘級全自動3D重建及骨骼蒙皮的自適應遷移,3D頂點平均誤差小於1mm。隻需要幾張照片就可以快速生成自

2023-06-15

6月15日,中國電信發佈自主品牌麥芒系列新機——麥芒A20 5G。麥芒A20采用天璣700處理器,6.52英寸LCD 直屏,擁有幻夜黑、寶石藍、薄荷綠三款配色,並配備128GB和256GB兩個版本,售價1399元起,首銷限時優惠立減100元,6月15日14:08開

2023-02-24

被稱為“中文版GPT-3”的語言大模型PLUG,此後還訓練實現全球首個10萬億參數AI模型。

2023-09-07

9月7日消息,在2023騰訊全球數字生態大會上,騰訊集團高級執行副總裁、雲與智慧產業事業群CEO湯道生宣佈,騰訊自主研發的通用大語言模型——混元,正式面向產業亮相。據介紹,騰訊混元大模型擁有超千億參數規模,預訓練