快科技10月9日消息，日前有媒體報道稱，百度正加緊訓練文心大模型4.0，已經接近可發佈狀態，這將是文心大模型3.5版本後，又一個重磅版本。
消息稱，文心大模型4.0進展比預期快很多，將是基礎模型的大升級，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數學等方面提升最明顯。
根據我們獲得的最新消息，上述消息基本屬實。目前解到，文心大模型4.0實際上已經在小流量測試。
根據我們拿到的消息，文心大模型4.0的參數規模要大於目前所有公開發佈參數的LLM，也是國內首次使用萬卡集群訓練的大模型。這意味著文心大模型4.0的參數規模預計能突破萬億級別。
萬卡集群什麼概念？國內之前隻有華為、阿裡透露已建成萬卡AI集群，但我們都沒看到基於它推出的具體模型。萬卡集群就不容易建，如果用起來發揮最大化作用則更難。
據分析，正是因為飛槳的深度聯合，才能高效地基於萬卡集群訓練起如此規模的模型。
不僅訓練成本在增加，文心4.0的推理成本比3.5增加很多，我們還沒拿到具體每千token的推理成本，但據傳大概是此前的8-10倍，這還是在高利用率（MFU）的情況下。如果利用率更低，估計成本還會繼續增加。
不得不說，大模型真的很費錢。可見，打造領先的底層基礎打模型，就是一場巨頭的遊戲。
根據IDC發佈的首個大模型評估報告《AI大模型技術能力評估報告，2023》，百度文心大模型3.5拿下12項指標的7個滿分，綜合評分第一，算法模型第一，行業覆蓋第一，綜合能力在眾多國產大模型中遙遙領先。
經過全面升級後，文心大模型4.0的訓練速度、推理速度等將進一步提升，能否與GPT-4一戰甚至超越後者的表現，我們拭目以待。