DeepMind聯合創始人:GPT-5正在訓練中 比當前模型大100倍


快科技9月3日消息,DeepMind聯合創始人Suleyman近日在采訪中表示,GPT-5仍在秘密訓練中,未來將會比現在的GPT-4大100倍。

其實,Open AI CEO Sam Altman此前曾否認訓練GPT-5的這一說法。有消息人士表示,OpenAI可能給它起一個新名字,所以他們才說沒有訓練GPT-5。

Suleyman目前是Inflection AI的CEO,Inflection AI正在建造世界上最大超級計算機之一並且他認為在接下來的18個月內,他們可能會進行一次比制造GPT-4的語言模型訓練運行大10倍或100倍的訓練運行。

今年3月份GPT-4正式發佈,和ChatGPT最初使用的GPT-3.5模型相比,GPT-4實現幾個方面的飛躍式提升:強大的識圖能力;文字輸入限制提升至2.5萬字;回答準確性顯著提高;能夠生成歌詞、創意文本,實現風格變化。

GPT-3.5有1750億參數規模,OpenAI沒有公佈過GPT-4的具體規格,但之後的分析認為它擁有16個專傢模型,每個MLP專傢大約有1110億個參數,總計1.8萬億參數,是GPT-4的10倍規模。

GPT-5如果按照這個比例來提升,那要突破10萬億參數,有可能成為最大規模的AI大模型,遠超其他所有對手。


相關推薦

2024-03-08

中,Inflection AI既年輕又鋒芒畢露,成立剛滿兩年,由前DeepMind首席科學傢Karén Simonyan、LinkedIn聯合創始人Reid Hoffman、DeepMind聯合創始人Mustafa Suleyman共同創辦,2023年6月獲得英偉達、微軟等參投的13億美元融資,估值達40億美元(折

2023-04-15

圖靈獎得主Yoshua Bengio、蘋果創始人、馬斯克等全球大佬聯合起來簽署公開信,對GPT-5發出圍剿。現在,簽名人數已經突破2.5萬。隨後,另一圖靈獎得主Yann LeCun、吳恩達等大佬也紛紛表明自己沒有署名的原因。雖然公開措辭是“

2023-07-16

也是整個行業需要解決的課題。近日,InfoQ 采訪大禹智芯聯合創始人 /CTO、IEEE 國際頂會 HPCA 名人堂成員蔣曉維博士,英特爾院士、大數據技術全球 CTO 戴金權,以期探索 AI 大模型時代下的算力困局破解路徑,尋求算力優化最優

2023-04-17

。此前,特斯拉CEO馬斯克、圖靈獎得主Yoshua Bengio、蘋果聯合創始人Steve Wozniak等多位科技界知名人物簽署一封公開信,呼籲在6個月內暫停開發比OpenAI公司新推出的GPT-4更為強大的系統。不過對此,微軟聯合創始人比爾蓋茨卻並不

2024-03-05

方面發揮重要作用。據《紐約時報》報道,在 Google 收購 DeepMind 後,雖然馬斯克憑借投資大賺一筆,但他並不希望 AI 被 Google 這樣的大型公司所控制。因此,馬斯克在 2015 年聯合他的前 PayPal 夥伴以及其他投資者承諾向 OpenAI 這

2024-03-27

網發生崩潰!就在剛剛,微軟工程師爆料,10萬個H100基建正在緊鑼密鼓地建設中,目的就是訓練GPT-6。微軟工程師吐槽說,團隊在部署跨區域GPU間的infiniband級別鏈接時遇到困難。Corbitt:為何不考慮直接將所有設備部署在同一個

2023-11-13

AGI如何定義、又何時到來?來自GoogleDeepMind的創始人兼首席AGI科學傢ShaneLegg向我們描述當下我們與AGI的距離。10月26日,在X上有三萬訂閱的DwarkeshPodcast(矮人播客)主持人DwarkeshPatel采訪GoogleDeepMind的創始人兼首席AGI科學傢ShaneLegg

2024-04-19

令人期待的東西即將到來。一個超過 400B 參數的最大模型正在訓練中,開發團隊對此感到興奮。未來幾個月,Meta將發佈多個新功能,包括多模態、多語言對話能力、更長的上下文窗口以及更強大的整體能力。一旦完成所有Llama 3

2023-04-16

此購買上萬個GPU(圖形處理器),還從谷歌的人工智能部門DeepMind招募人才。該項目涉及創建一個生成式人工智能,推特將根據自己的海量數據進行訓練。一位消息人士稱,如果推特不打算將它們用於AI工作,幾乎沒有理由在數據中

2024-04-09

發展,人們開始暢想AGI何時能夠實現。谷歌旗下的AI公司DeepMind聯合創始人Demis Hassabis今年早些時候預測,AGI有望在2030年實現。由於訓練AI模型的芯片供不應求,AI的發展速度有所放緩。馬斯克透露,缺乏先進的芯片阻礙Grok第二版

2023-04-18

數量以及建設這些中心的速度也都受到物理限制。Cohere的聯合創始人尼克·弗羅斯特(Nick Frosst)曾在谷歌從事人工智能研究,他表示,奧爾特曼所說的“不斷擴大模型規模並不是無限制的有效解決方案”是正確的。他認為,針

2024-04-22

是“最瘋狂的AI人才爭奪戰”。曾經被視為AI皇冠明珠的DeepMind,如今卻走下神壇,在人才爭奪中失去絕對優勢。近年來,從DeepMind出走創業的頂尖研究人員越來越多。Google旗下的最強AI研究機構,化身大規模向社會輸出AI人才的工

2023-03-23

skever回憶稱,當時公司隻有100個人,大部分還都在Google或deepmind工作。不過當時他們有兩個大的思路。其中一個是通過壓縮進行無監督學習。2016年,無監督學習是機器學習中一個尚未解決的問題,沒有人知道怎麼實現。最近,壓

2024-03-14

三代突破性水平的人工智能芯片。”Cerebras 首席執行官兼聯合創始人Andrew Feldman)說道。“ WSE-3 是世界上最快的 AI 芯片,專為最新的尖端AI 工作而設計,從專傢混合到24 萬億個參數模型 。我們很高興將 WSE-3 和 CS-3 推向市場,以