十月一節後第一天就有消息人士透露，百度正在加緊訓練文心大模型4.0，或將在10月17日舉行的百度世界大會上發佈。
此前5月，文心大模型3.5版本已經發佈，不到半年，4.0上線在即，而且放在百度世界大會這樣的重頭戲上，外界期待值直接拉滿。
據悉，從文心3.5到4.0，版本數字前進0.5”背後，推理成本、模型參數量都會迎來暴增，推理成本綜合下來高5倍打底，甚至8倍、10倍都有可能，而模型參數量更是超過萬億，也正是萬億的參數量解釋文心大模型4.0推理成本增高的背後原因。
先解釋下什麼是推理成本？其實就是用戶單次使用耗費的算力成本，這裡算力不僅包括硬件投入，也折算運維成本。正所謂有輸入”才有輸出”，推理成本即模型思考”並輸出”一次所需的成本。
這個推理成本主要受三個因素影響：
1、模型的網絡結構和參數規模，大模型神經網絡結構越復雜成本越高，參數規模越大，需要的計算量越大，計算成本就越高。
這就好比人大腦中的神經元網絡，神經元網絡越復雜，需要學習和思考的東西就越多，也就需要更高的成本。
從爆出來的消息看，文心4.0基於飛槳平臺在萬卡集群訓練出來，4.0參數規模將大於市面上所有已經公開發佈參數規模的大語言模型，也有可能突破萬億級別。
根據之前行業媒體的測算，如果要在10天內訓練1000億參數規模、1PB訓練數據集，大約需要10830個英偉達A100 GPU。
按照每個A100 GPU的成本約為10000美元，那麼10830個GPU的總成本約為：10830*$10000=$108300000
為什麼說通用大模型是大廠的遊戲，原因就在這裡，光門檻就超10億美元。
2、模型的推理部署，如單機還是並行推理、量化、部署方式等。
優化成本”本身也是要付出代價的。這就好比我們用不同的方式來解決問題。如果一個方法需要更多的時間和精力，那麼思考”成本就會更高。
如果一個模型在推理時需要大量的計算和存儲資源，就像一個大人需要花費更多的時間和精力來解決問題一樣，那麼推理成本就會很高。
而如果采用一些技術手段，比如將推理任務並行處理或者使用量化技術來減少計算和存儲需求，就相當於小孩子用更簡單的方式來解決問題，可以節省推理成本。當然，這些技術手段本身也是成本。
3、芯片和集群，包括芯片型號、規模以及集群架構等。
芯片買來就能直接用嗎？完全不可能！後面還需要一系列的重成本
這就好比不同的大腦的配置。如果一個芯片或集群的效率更高、速度更快，那麼就可以更快地完成推理任務，從而降低推理成本。如果一個芯片或集群的性能不好、速度很慢，這就像一個學習不好的孩子需要花費更多的時間和精力來思考問題一樣，推理成本就會很高。
單個芯片可以比喻成一塊能發電的磚，如何通過合理配置，最終達到參數規模、推理部署方式以及使用的芯片和集群的性能最大化？這聽著都不是一個簡單的問題。
隨著大語言模型的不斷升級迭代，參數量突破萬億、模型能力越來越強、用戶使用量激增，推理成本都會成倍增加。
文心大模型4.0增加的更是極致體驗
其實自5月發佈文心3.5，百度一直通過各種技術優化推理成本，據悉，目前3.5版本推理成本較5月剛發佈時，已經下降到原來的幾十分之一。
而即將發佈的文心大模型4.0版本的推理成本也遠低於今年5月的3.5版本，這也是百度積極探索技術手段優化推理性能、降低推理成本的結果。而文心大模型4.0作為單一模型，將是國內首個萬卡集群訓練的稠密參數大語言模型。
萬卡集群背後，如何更好的發揮性能呢？
對於百度來講，恰好因為過去十年如一日的技術投入，正式因為文心與飛槳的聯合優化，才能高效地基於萬卡集群訓練起這麼萬億規模的模型。
10月17日，文心大模型4.0將正式發佈，並開啟邀請測試。這是迄今為止最強大的文心大模型，它實現基礎模型的全面升級，理解、生成、邏輯和記憶四大能力相輔相成，全面進步。可以說文心大模型的全面升級將為用戶帶來更極致的產品體驗。
通用大模型走向付費是大勢所趨
根據海外最新研究《The Economics of Large Language Models》，可以有這樣來估計：
每個token（1000 token約等於750個單詞）的訓練成本通常約為6N，而推理成本約為2N，其中N 是LLM（大語言模型）的參數數量，也就是說推理成本大約相當於訓練成本的三分之一。但隨著模型上線部署後使用量的增加，推理成本可能遠超訓練成本。
有媒體估算過，使用雲計算服務（以AWS為例）調用ChatGPT的能力，每處理一個輸入長度為50字、輸出長度為1000字的問題，大約需要消耗0.00014611美元的雲計算資源。即用1美元可以向ChatGPT提問約6843個問題。
此外，據華爾街日報早前爆料：微軟用戶量高達150萬的AI編程工具GitHub Copilot，平均每個月在每個用戶身上都要倒貼20美元，最高能達80美元。也就是說，微軟自做出Copilot以來，光是一個月在它上面虧損就高達3000萬美元，一年下來虧損直接過億。要知道，Copilot也不是能白嫖的，會員每月還得交10美元使用費”
而就拿OpenAI來看，它也早已走上大模型付費之路。對於C端用戶，提供訂閱模式的ChatGPT Plus，每月收費20美元（合人民幣140元），可訪問基於GPT-4的完全不同的服務，速度更快，訪問更可靠。就算訪問 ChatGPT，也可以優先使用新功能和改進。
而對於企業用戶，就在今年8月28日，OpenAI官宣推出專註於為大企業服務的ChatGPT Enterprise”。企業版ChatGPT直接對接GPT-4，提供無限制訪問、高級數據分析功能、定制服務等服務，並支持處理更長文本輸入的長上下文窗口。
並且企業版在保證企業的數據隱私和安全的背景下，還為企業提供全方位的生成式AI功能。此外，除目前適合大型企業的版本外，OpenAI還將很快推出適用於小微企業、團隊的ChatGPT Business產品，服務於所有規模和類型的組織。
可以看出大模型收費國外已經開始探索不同路徑，而確保模型的可持續發展也正需要資金來支持持續的研發、改進和維護。這就需要一定的收費機制來不斷優化和迭代模型，提高模型的準確性和效率，結合用戶需求和反饋，不斷改進和優化模型，提高用戶體驗。
高昂成本倒逼下，通用大模型走向付費是大勢所趨。