圖靈獎得主LeCun:ChatGPT局限巨大 自回歸模型壽命不超5年


今年上半年,可謂是AI屆最波瀾壯闊的半年。在急速發展的各類GPT甚至AGI的雛形背後,是持不同觀點的兩大陣營的人們。一派認為,以ChatGPT為首的生成式AI非常強大,能帶動一大波革命性的風潮,繼續推進沒有問題。

另一派認為,咱發展的有點太快。不說禁止,也得停一停。而且道德方面,相匹配的約束也太少。

而作為AI屆的一位大拿,Yann LeCun對此卻有不同看法。


徹底禁止?不可行

LeCun表示,他對ChatGPT的表現並不感到驚訝,也不贊成暫停人工智能的研究。

“這可能會產生和預期相反的結果。”

他表示,人工智能作為人類智能的放大器,可能是新文藝復興的起源。

ChatGPT這種大語言模型是“自回歸”。AI接受訓練,從一個包含多達14000億個單詞的語料庫中提取單詞,預測給定句子序列中的最後一個單詞,也就是下一個必須出現的單詞。


Claude Shannon在上個世紀50年代開展的相關研究就是基於這一原則。

原則沒變,變得是語料庫的規模,以及模型本身的計算能力。

LeCun表示,“目前,我們無法靠這類模型生成長而連貫的文本,這些系統不是可控的。比如說,我們不能直接要求ChatGPT生成一段目標人群是13歲兒童的文本。

其次,ChatGPT生成的文本作為信息來源並不是100%可靠的。GPT的功能更像是一種輔助工具。就好比現有的駕駛輔助系統一樣,開著自動駕駛功能,也得把著方向盤。

而且,我們今天所熟知的自回歸語言模型的壽命都非常短,五年算是一個周期,五年以後,過去的模型就沒有人再會用。

而我們的研究重點,就應該集中在找到一種是這些模型可控的辦法上。換句話說,我們要研究的AI,是能根據給定目標進行推理和計劃的AI,並且得能保證其安全性和可靠性的標準是一致的。這種AI能感受到情緒。”


要知道,人類情緒的很大一部分和目標的實現與否有關,也就是和某種形式的預期有關。

而有這樣的可控模型,我們就能生成出長而連貫的文本。

LeCun的想法是,未來設計出能混合來自不同工具的數據的增強版模型,比如計算器或者搜索引擎。

像ChatGPT這樣的模型隻接受文本訓練,因此ChatGPT對現實世界的認識並不完整。而想要在此基礎上進一步發展,就需要學習一些和整個世界的感官知覺、世界結構有關的內容。

而這些更復雜的內容並不是簡單地通過閱讀文本就能實現的,這才是未來幾年的最大挑戰之一。

開源才是盡頭

對權力的渴望,是人類特有的。而AI並不會因為變得越來越強大就會具備這種渴望。

隻有人類這個物種才知道如何制定法律,保障個體的行為不會過多損害共同利益。

OpenAI最初是一個開放的研究項目,現在已經關閉。而OpenAI對其工作隻字未提,這種情況的逆轉在研究領域並不常見。

問題在於訓練一個語言模型很昂貴,要花費幾千萬歐元,所以初創企業負擔不起。

這也是微軟與OpenAI合並的主要原因,需要集團共同的計算能力來改進其未來的模型。這也是為什麼DeepMind和Google大腦最終還是合並。


LeCun表示,最終在市場方面,開發者會走向一個開放平臺的共同生態。如果隻有少部分公司控制著這類技術,就糟糕。

從歷史上來看,不管是Facebook還是改完名的Meta,都在積極推動開放性的基礎研究,比如LlaMa這個開源項目。


90年代初期,Sun Microsystems和Microsoft大打出手,爭奪操作服務器的權力。要記住,所有能一直站穩腳跟的互聯網技術都是開源的。

LeCun最後表示,目前,阻止這類開放的開源AI平臺的關鍵,是法律上的問題。如果未來歐盟想要推動AI產業的結構化,那麼這種類似的開源平臺是必不可少的。


相關推薦

2024-05-06

全的方向發展。LeCun 再一次表達對自回歸 LLM 的不滿(從 ChatGPT 到 Sora,OpenAI 都是采用的自回歸生成式路線),雖然這種技術路線已經充斥整個 AI 界,但存在事實錯誤、邏輯錯誤、不一致、推理有限、毒性等缺陷。此外,自回歸

2023-02-06

iss大語言模型是邪路,也為自傢匆忙下線的Galactica酸一把ChatGPT。而LeCun態度的大反轉,也讓曾經的對頭馬庫斯喜出望外。不僅頻頻轉發LeCun推文,還高調宣佈兩人的‘世紀大和解’。這兩天,圖靈獎得主Yann LeCun心態有些崩。自從

2024-01-23

刪掉的詞,也就是通過刪掉一些詞來「破壞」文本。像 ChatGPT 和 Lama 這樣的模型都是這樣訓練的。你隻需刪掉最後一個詞就能訓練它們。從技術上講實際上更復雜,不過大體就是這麼個意思,訓練這個系統來重建輸入中缺失的信

2022-07-31

巨星隕落。7月29日,“計算復雜性”理論奠基人、1993年圖靈獎得主JurisHartmanis去世,享年94歲。1928年,JurisHartmanis出生在蘇聯拉脫維亞(Latvia)共和國,父親是拉脫維亞軍隊將軍MārtiņšHartmanis,於1940年被捕入獄去世。二戰結束時,

2023-02-08

lectiveForecast組織的在線討論中說表示,就底層技術而言,ChatGPT並不是多麼不得的創新:雖然在公眾眼中,它是革命性的,但是我們知道,它就是一個組合得很好的產品,僅此而已。ChatGPT絕不是一種開拓式的創新。2月4日,LeCun再

2023-11-04

管AI大模型一事最近又起爭議。北京時間11月2日凌晨,“ChatGPT之父”、OpenAICEO奧特曼(SamAltman)在英國劍橋參加活動時,遭到反AI活動的激進分子的強烈抵制,在大禮堂裡當面被“砸場子”,少數抗議者要求停止AI競賽。OpenAI CEO

2024-05-23

科學傢、深度學習領域的先驅楊立昆(Yann LeCun)近日對ChatGPT等生成式AI產品背後的大語言模型的能力提出質疑。他表示,大模型永遠無法實現像人類一樣的推理和規劃能力。楊立昆明確指出,大語言模型在邏輯理解方面存在極

2023-03-30

、強度最大、時間最長。公開信引發爭議近日,OpenAI發佈ChatGPT升級版GPT-4,GPT-4在與人類交互方面和一些最具挑戰性的標準化測試中表現出色,但同時這也引起人們的警覺。3月22日,非盈利組織生命未來研究所發佈一封《暫停大

2023-04-15

Altman回答說,我們當然會一直保持坦誠。因為OpenAI堅信,ChatGPT技術會影響所有人,所以他們大膽地選擇把一個還不完美的AI系統公之於眾,讓所有人都囊括在這個討論體系中。盡管這讓OpenAI背負上種種“聲譽風險”,種種罵名,

2023-03-29

這封信的到來,可謂是千呼萬喚始出來。從去年11月底,ChatGPT仿佛叩響發令槍,全世界的AI機構都在瘋狂沖刺,卷到紅眼。而“始作俑者”的OpenAI,腳步也絲毫沒有放慢,聯合著金主爸爸微軟,它隔一陣就給我們來一個暴擊。先

2023-03-23

今年的圖靈獎,花落以太網(Ethernet)之父——BobMetcalfe。這項計算機界最高榮譽之所以頒給他,正是因為Metcalfe在50年前的工作開創現今全球“超級互聯”的時代。與此同時,Metcalfe還是3Com 公司創始人、MIT榮譽教授。MIT計算機系

2024-02-20

天般的難題。Diffusion Model這一局,是徹底輸給Transformer。ChatGPT故事再次重演,Sora其實站在Google的肩膀上讓我們深入扒一扒,Sora是站在哪些前人的肩膀上。簡而言之,最大創新Patch的論文,是Google發表的。Diffusion Transformer的論文

2024-07-05

快科技7月4日消息,在2024世界人工智能大會上,圖靈獎得主羅傑瑞迪表示,AI是一個新物種,這個物種比我們人類要強大很多倍。羅傑瑞迪警告稱,面對這樣一個強大的存在,如果我們選擇無動於衷,那麼等待我們的很可能是被A

2023-03-29

推理能力方面超過2022年11月30日推出的AI聊天機器人工具ChatGPT。