並非越大越好!OpenAI CEO:大語言模型規模已逼近極限


快科技4月16日消息,近日OpenAI聯合創始人兼CEO Sam Altman在麻省理工的想象力行動”活動上介紹采訪,談到目前LLM(Large Language Model,大語言模型)未來的發展。

Altman在采訪中指出,目前人類已經在接近LLM規模的極限,模型的規模大小將不再是評價模型好壞的重要指標,提升模型的能力與效用將更加重要。

作為佐證,他將LLM的發展與曾經芯片速度的競賽進行比較,表示就像目前人們比起單純的速度,更在意芯片能否完成任務一樣,LLM的規模也將逐漸變得不是那麼重要。

因此,對於OpenAI而言,他們的目標是為世界提供最有能力、最有用、最安全的模型,而不是為參數數量而自我陶醉。


相關推薦

2023-04-15

麻省理工學院的活動上接受媒體的采訪。Altman表示,大小並非衡量一個模型質量的正確方式,他還把LLM與芯片的發展速度進行比較。他認為人們過於關註參數數量,也許參數數量肯定會增加。就如同現在有些手機上運行著功能更

2024-03-25

研究認為,大語言模型性能的顯著提升並不令人意外,也並非無法預測,實際上這是由我們衡量人工智能性能的方式所決定的。兩年前,450位研究人員在一個名為超越模仿遊戲基準(BeyondtheImitationGameBenchmark,BIG-bench)的項目中

2023-05-17

司卻不願發佈其訓練數據的規模和其他細節。微軟支持的OpenAI也對其最新的GPT-4大語言模型的細節信息保密。這些公司表示,之所以不披露這些信息,是出於商業競爭考慮。谷歌和OpenAI都在努力吸引想要用聊天機器人代替傳統搜

2024-03-09

模大到一定程度時,就會自然消失。雖然擴大模型的規模並非易事,但相關的技術挑戰預計將在不久的將來就會得到解決,隨後AGI的實現也將順理成章。觀點2:僅僅依靠擴大現有模型的規模是不夠的。雖然增加規模非常重要,

2023-10-15

數規模,大模型神經網絡結構越復雜成本越高,參數規模越大,需要的計算量越大,計算成本就越高。這就好比人大腦中的神經元網絡,神經元網絡越復雜,需要學習和思考的東西就越多,也就需要更高的成本。從爆出來的消息

2023-11-10

越接近通用人工智能。百度在3月16日發佈新一代知識增強大語言模型文心一言,目前文心一言的基礎模型已迭代到文心大模型4.0。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升,其中理解和生成能力的提升幅度相近,而邏

2024-05-07

網絡和數千個頂尖GPU,構建一個功能全面且出色的模型也並非易事,而在智能手機這樣有限的空間內實現這一目標,更是難上加難。因此,蘋果需要展示其非凡的創新能力。在一篇名為《閃存中的LLM:有限內存下的高效大語言模

2023-03-10

統互聯網搜索高出50%。但到上月底,由於大語言模型公司OpenAI、Anthropic和Cohere之間的激烈競爭,這一成本差異下降到隻有約5%。幾天後,OpenAI發佈一項新服務,讓開發人員可以直接使用ChatGPT,並將使用這項技術的價格削減90%。這

2024-03-06

3年的初創公司!這說明OpenAI在大模型技術上的領先身位並非遙不可及。坐擁Top級創始成員和精兵強將的創業團隊,憑借更少的人力、財力、算力資源,完全能夠做出與大廠分庭抗禮的AI產品。Claude 3系列模型共有3款,起名很有意

2023-11-29

OpenAI董事會的鬧劇在上周引起不少人的關註,許多人都在關心董事會開除SamAltman的幕後原因,而有媒體曾報道,這與一項可能會威脅人類社會安全的技術突破有關。這一技術突破使OpenAI的高級研究人員建立一個被稱為Q*的模型,

2023-04-16

大模型的同臺競技中,誰能最終脫穎而出,打造出中國的OpenAI?百度“文心一言”大語言模型被稱為中國版ChatGPT的百度“文心一言”於3月16日14:00在百度北京總部大樓正式發佈。百度在會上用PPT展示文心一言在文學創作、商業文

2023-03-15

gle今日的兩篇博客發佈後,似乎已經引起一些人的不滿:並非全面開放、也沒有定價。也許,可以說相比之前 ChatGPT API 的開放,Google這一波反擊,也略顯失敗。

2024-02-21

在OpenAI推出又一爆款力作AI視頻生成模型Sora後,連帶著偏上遊的AI芯片賽道熱度一點即著。創始成員來自GoogleTPU團隊的美國存算一體AI芯片公司Groq便是最新贏傢。這傢創企自稱其自研AI推理引擎LPU做到“世界最快推理”,由於其

2023-04-18

時代的盡頭。在(即將過去的)這個時代,模型變得越來越大。現在,我們會在其他方面讓它們變得更好。”奧爾特曼的表態意味著,開發和部署新AI算法的競賽出現出人意料的轉折。自去年11月推出ChatGPT以來,微軟就開始利用