最近，LeCun連續發推，舌戰各位推友，瘋狂diss大語言模型是邪路，也為自傢匆忙下線的Galactica酸一把ChatGPT。而LeCun態度的大反轉，也讓曾經的對頭馬庫斯喜出望外。不僅頻頻轉發LeCun推文，還高調宣佈兩人的‘世紀大和解’。
這兩天，圖靈獎得主Yann LeCun心態有些崩。自從ChatGPT大火之後，微軟憑著Open AI腰板挺得很直。
被啪啪打臉的Google，也不說什麼‘聲譽風險’。
所有旗下的語言模型，無論是LAMDA，還是DeepMind的Sparrow，以及Apprentice Bard，是能加快的加快，能上架的上架。然後再狂投近4億美元給Anthropic，想趕快扶出自己的Open AI。（微軟有的我也要）
然而，有一個人看著微軟Google各領風騷，卻隻能急得原地跳腳。
這個人就是Meta的首席AI科學傢——Yann LeCun。
他在Twitter中十分意難平：‘ChatGPT滿嘴胡謅，你們卻對它如此寬容，但我傢的Galactica，才出來三天，就被你們罵到下線。’
是誰酸到，我不說
作為深度學習三巨頭之一、圖靈獎得主，LeCun的一舉一動，都十分引人註意。
1月27日，在Zoom的媒體和高管小型聚會上，LeCun對ChatGPT給出一段令人驚訝的評價：‘就底層技術而言，ChatGPT並不是多麼不得的創新。雖然在公眾眼中，它是革命性的，但是我們知道，它就是一個組合得很好的產品，僅此而已。’
‘除Google和Meta之外，還有六傢初創公司，基本上都擁有非常相似的技術。’
另外他還說，ChatGPT用的Transformer架構是Google提出的，而它用的自監督方式，正是他自己提倡的，那時Open AI還沒誕生呢。
此番言論一出，公眾嘩然。Open AI的CEO Sam Altman疑似因為這句話直接取關LeCun。
隨後，LeCun繼續舌戰眾位推友。
1月28日，LeCun發推稱，‘大型語言模型並沒有物理直覺，它們是基於文本訓練的。如果它們能從龐大的聯想記憶中檢索到類似問題的答案，他們可能會答對物理直覺問題。但它們的回答，也可能是完全錯誤的。’
2月4日，LeCun再次發推，更加直白地表示‘在通往人類級別AI的道路上，大型語言模型就是一條歪路’。
他這話一說，網友們可high，紛紛沖到評論區留言。
LeCun隨後補充說：‘依靠自動回歸和響應預測下一個單詞的LLM是條歪路，因為它們既不能計劃也不能推理。’
‘但是SSL預訓練的Transformer是解決方案，因為它所處的現實系統有推理、計劃和學習的能力。’
LeCun舉個有趣的例子：自己在參加播客節目時，展示過ChatGPT的回答，它看上去很有道理，卻錯得離譜。然而主持人在讀完ChatGPT的回答後，卻沒有第一時間發現它錯。
LeCun對此解釋道：‘我們的思維方式和對世界的感知讓我們能預想即將發生的事物。這是我們獲得常識的基礎，而LLM並沒有這種能力。’
他再次發推稱：‘在我們做出人類級別的AI之前，我們需要先做出貓貓/狗狗級別的AI。而現在我們甚至連這都做不到。我們缺失十分重要的東西。要知道，連一隻寵物貓都比任何大型語言模型有更多的常識，以及對世界的理解。’
在留言區，有網友毫不客氣地懟起LeCun：‘你說得不對吧，本人親測，Galactica的錯誤率接近100%，而ChatGPT的錯誤率差不多在15%左右。 ’
對於網友的痛擊，LeCun再次發推表明態度：‘我從來沒說大型語言模型沒用，其實我們Meta也推出過Galactica模型，隻是它不像ChatGPT那麼好命罷。ChatGPT滿嘴胡謅，你們卻對它如此寬容，但我傢的Glacatica，才出來三天，就被你們罵到下線。’
對此，評論區有網友諷刺道：‘你可真棒棒啊。不如回實驗室去，把你說的東西給做出來。’
LeCun回復：‘今天可是周日，Twitter大辯論是我周末最愛的消遣。’
自傢的模型隻活3天
LeCun如此意難平，可以理解。
去年11月中旬，Meta的FAIR實驗室曾提出一個Galactica模型，它可以生成論文、生成百科詞條、回答問題、完成化學公式和蛋白質序列的多模態任務等等。
Galactica生成的論文
LeCun也很開心地發推盛贊，稱這是一個基於學術文獻訓練出的模型，給它一段話，它就能生成結構完整的論文。
然而，由於Galactica滿嘴跑火車，它才上線短短三天，就被網友噴到下線。
LeCun轉發Papers with Code的通知，像個‘大怨種’一樣說道：‘現在我們再也不能和Galactica一起愉快地玩耍，你們開心？’
雖然Galactica的demo才上線幾天，但當時的用戶都感覺如臨大敵。
有網友警示道：想想這個‘寫論文’神器會被學生們拿來做什麼吧。
有網友表示，‘Galactica這個模型的回答錯漏百出，充滿偏見，可是它的語氣卻十分自信權威。這太恐怖。’
馬庫斯也表示，這種大型語言模型可能會被學生用來愚弄老師，非常令人擔心。
這熟悉的配方，熟悉的味道，真是令人感慨萬千：曾經Galactica引起的恐慌和質疑，不正是ChatGPT後來所經歷嗎？
看著這段歷史的重演，卻有著截然不同的結局，LeCun這麼酸，確實不能說是毫無來由。
那為什麼ChatGPT就能在質疑的聲浪中人氣愈發高漲，Galactica卻隻能慘兮兮地被罵到下線呢？
首先，Galactica由Meta提出，大公司確實比Open AI這樣的小初創公司，面臨更多的‘聲譽風險’。
另外，Open AI的產品定位策略十分聰明，從ChatGTP的名字就可以看出，它主打的概念是聊天。
你可以和它聊知識、聊論文，但既然是‘chat’，自然可以放飛一些，誰規定聊天一定要聊‘準確’‘嚴謹’的東西呢？
但Glactica則不同，它的官方定義是：‘這是一個用於科研的模型。’‘這是一個受過人類科學知識訓練的人工智能。您可以將它用作一個新界面，來訪問和操作我們對宇宙的知識。’
這當然就給自己埋大雷。
雖然從技術層面來看，ChatGPT的確沒有太多創新，但是從產品運營的角度，Open AI這一招，打得十分出色。
LLM為什麼會滿嘴胡話？
所以，大語言模型為什麼會滿嘴胡話呢？
在LeCun點贊的一篇文章中，作者做出解釋：‘我曾嘗試用ChatGPT來幫忙寫博客文章，但都以失敗告終。原因很簡單：ChatGPT經常會整出很多虛假的“事實”’。
自然語言不等於知識
要知道，LLM是為在與其他人類的對話中聽起來像一個人，而且它們也很好地實現這個目標。但問題是，聽起來自然與評估信息的準確性是兩種完全不同的事情。
那麼，這個問題該如何解決呢？
舉個例子，我們可以借助已經對物理學理解進行編碼的機器——物理學引擎：
修改LLM，使它能識別出自己被問到的是一個關於物理的問題
將問題轉換為一個物理場景
用一個物理引擎來模擬這個場景
用文字描述該場景的輸出
而對於‘假論文問題’，我們同樣也可以采用類似的修正。
也就是讓ChatGPT認識到它被問到關於科學論文的問題，或者它正在寫關於論文的東西，並強迫它在繼續之前查閱一個可信的數據庫。
但是請註意，如果真的這樣做，那就意味著你把一種特定的額外‘思維’嫁接到LLM身上。而且還必須考慮到一大堆特殊的情況。這時，人類工程師知道真相來自哪裡，但LLM卻不知道。
此外，隨著工程師們把越來越多的這樣的修復方法嫁接在一起，越來越明顯的是，LLM不是一種人工通用智能的形式。
不管人類的智能是什麼，我們都知道它不僅僅是能說會道的能力。
人類語言的多種用途
為什麼人類要互相交談，或為對方寫下東西？
其中一個目的是直接傳達事實信息，比如‘我在商店’、‘它沒有插電’等，但這遠不是我們使用語言的唯一原因：
勸說、請求、命令、指示
傳達情感
娛樂他人（包括小說、笑話等）、自娛自樂
欺騙（撒謊）
建立關系（與朋友建立聯系，調情）
……
看得出來，人類交流的目的是非常多樣化的。而且，我們通常也不會在寫作的內容中表明它的目的是什麼，作者和讀者也對這些內容的作用有著不同的認知。
如果ChatGPT想要成為一個值得信賴的事實傳播者，它可能要學會如何區分它所訓練的人類寫作的各種目的。
也就是說，它將不得不學會不認真對待廢話，區分說服和宣傳與客觀分析，獨立判斷一個來源的可信度與它的受歡迎程度，等等。
即使對於人類，這也是一個非常困難的技巧。有研究表明，虛假信息在Twitter上的傳播速度是準確信息的數倍——往往更具有煽動性、娛樂性或看起來很新穎。
那麼問題來，為什麼生成式人工智能在計算機代碼上表現很好？為什麼編寫功能代碼的準確性不能轉化為傳達事實的準確性？
對此可能的回答是，計算機代碼是功能性的，而不是交流性的。以正確的語法編寫某段代碼會自動執行一些任務，而編寫一個語法正確的句子卻不一定能達到任何目的。
此外，我們很容易將計算機代碼的訓練語料庫限制在‘好’的代碼上，也就是完美地執行其預期目的的代碼。相比之下，要制作一個成功實現其目的的文本語料庫幾乎是不可能的。
因此，為將自己訓練成可信賴的事實傳播者，LLLM必須完成一項比訓練自己提出功能性計算機代碼更難的任務。
雖然不知道對於工程師來說，建立一個能夠區分事實和廢話的LLM有多難，但這即便對於人類來說，都是一項困難的任務。
馬庫斯：世紀大和解
LeCun的一大串言論，讓大傢紛紛疑惑：這不是馬庫斯會說的話嗎？
熱（chi）情（gua）的網友紛紛@馬庫斯，期待他對此事的銳評。
苦GPT久矣的馬庫斯自然喜出望外，立刻轉發LeCun的帖子，還評論道‘100昏’。
馬庫斯還在自己的博客上發文，回顧自己與LeCun的‘愛恨情仇’。
馬庫斯稱，自己與LeCun本是多年老友，因為嘴Galactica幾句使得兩人交惡。
實際上，馬庫斯與LeCun的嘴仗打好幾年，可不是光隻因為Galactica下線的事情。
與另外兩位圖靈獎得主Bengio和Hinton的相對低調不同，近幾年，LeCun在社交媒體上的活躍在AI圈子裡也是出名的。不少工作在掛Arxiv之後就第一時間在Twitter上宣傳一波。
同樣高調的馬庫斯也是一向視Twitter為自己的主場，當LeCun的宣傳和馬庫斯的看法產生矛盾時，雙方都不打算憋著。
在社交媒體上，兩人可以說達到有架必吵的地步，彼此間話講的毫不客氣，見面說不定都能直接掐起來那種。
而且要說梁子，2019年LeCun與Hinton和Bengio一起獲得圖靈獎後，有一張合影，原本馬庫斯站在LeCun的邊上，但在LeCun分享的照片中，Marcus被無情地剪掉。
然而，ChatGPT的誕生改變一切。
ChatGPT爆火，Galactica三天後便落魄下架。在LeCun對LLM瘋狂輸出時，馬庫斯自然樂於看到此景。
正所謂敵人的敵人就是朋友，不論LeCun的言論是自傢產品失敗後的大徹大悟，還是對競品頂流現狀的眼紅，馬庫斯都願意添一把火。
馬庫斯認為，他和LeCun達成一致的，不僅是關於LLM的炒作和局限性。他們都認為Cicero應該得到更多的關註。
最後，馬庫斯@懂的都懂的那個人，並說‘該給傢人們福利’。
可以說，LeCun在Twitter上掀起的罵戰，不僅讓馬庫斯的反GPT軍團多一員猛將，還給兩人握手言和的契機。
這麼看來，或許馬庫斯才是最終贏傢。