專訪諾獎得主:大模型是記憶還是理解?


聲明:本文來自於微信公眾號 機器之心(ID:almosthuman2014),作者:機器之心,授權站長之傢轉載發佈。

物理學傢理查德·費曼曾將自然世界比作眾神的遊戲,比如國際象棋——我們不知道遊戲規則,但卻可以觀察棋盤,也許隻是其中的一角,然後根據這些觀察,試圖找出遊戲規則。

費曼的比喻,道出科學研究的核心,也生動描繪許多經濟學傢的工作,他們同樣致力於從紛繁復雜的經濟現象中,洞悉隱藏的模式和規律。

當我們談及人工智能,尤其是近年來蓬勃發展的大模型,似乎也能看到同樣的影子。以數據為中心的人工智能(Data-Centric AI)正在改變著人類組織和解釋信息的方法,並在某些領域展現出改變信息獲取方式的潛力。那麼,大模型能否像伽利略、牛頓、愛因斯坦一樣,從數據中提煉出全新的理論,實現真正的科學發現?

對此,2011年諾貝爾經濟學獎得主托馬斯·薩金特(Thomas J. Sargent)教授認為,人工智能和機器學習的核心理念可以追溯至伽利略時代,都是通過構建世界模型並基於模型進行預測和決策。機器學習作為人工智能的關鍵組成部分,通過數據驅動的方式實現這一過程。

薩金特教授在寫於2023年10月的工作論文《Sources of Artificial Intelligence》中表示,他所理解的「人工智能」,是指那些旨在完成「智能」任務的計算機程序,而這些任務過去是由像伽利略、達爾文和開普勒這些拓展人類認知邊界的先驅完成的。很多機器學習技術利用數據、概率論和微積分來推斷模式,而設計機器學習芯片、算法和代碼的程序員,則是在再現(copy)伽利略的自由落體實驗。

帶著對人工智能和科學發現的疑問,以及對諾貝爾經濟學獎得主獨特視角的期待,機器之心在2024羅漢堂數字經濟年會上對薩金特教授進行獨傢專訪。

人物簡介

薩金特教授在2024羅漢堂數字經濟年會發表演講。圖片來源:羅漢堂

托馬斯·約翰·薩金特(Thomas John Sargent)是一位傑出的美國宏觀經濟學傢。他於2002年9月加入紐約大學,成為首任 W.R. Berkley 經濟學和商業講席教授。2011年,薩金特教授與普林斯頓大學的克裡斯托弗·西姆斯(Christopher A. Sims)共同獲得諾貝爾經濟學獎,以表彰他們「對宏觀經濟中因果關系的實證研究」。

薩金特教授是理性預期學派的領軍人物之一,該學派的核心理念是:經濟個體能夠理性地利用所有可獲得的信息,並根據最佳的判斷來形成對未來的預期,然後根據這些預期進行決策,反映經濟體系中「未來決定現在」的含義。他與羅伯特·盧卡斯(Robert Lucas, Jr.)和尼爾·華萊士(Neil Wallace)密切合作,為新古典宏觀經濟學的演進奠定根基,做出原創性的貢獻。

薩金特教授在經濟學領域享有盛譽,曾任計量經濟學會、美國經濟學會和經濟動態學會主席。1983年,他當選為美國國傢科學院院士和美國藝術與科學院院士,並於1997年榮獲內默斯經濟學獎。他的研究對宏觀經濟學、貨幣經濟學、時間序列計量經濟學等領域產生深遠的影響。

薩金特教授也是羅漢堂首批學術委員會委員。羅漢堂(Luohan Academy)是2018年由阿裡巴巴倡議,全球社會科學領域的頂尖學者在杭州共同發起的非營利性開放型研究機構。2024年7月,第四屆羅漢堂數字經濟年會在上海舉辦,薩金特教授第四次現場參加活動。會議圍繞人工智能對經濟社會發展的影響及趨勢展開,50餘名海內外學者、政策研究者、科技領軍人物和企業傢參與演講和討論。

訪談實錄

機器之心:薩金特教授,非常榮幸有此機會。機器之心是一傢專業的人工智能信息服務平臺,我們的讀者都是 AI 從業者(AI professionals)。

薩金特教授:噢,我是 AI 外行人(AI amateur)。

機器之心:您太謙虛,您指出經濟學是人工智能的學科基礎之一[1],我們期待您在經濟學中的方法論能為人工智能的相關研究提供指導。當前人工智能領域有一大爭議,有些人認為像 GPT-4這樣的大語言模型(LLM)做的隻是「記憶」,其強大僅僅來自於對海量數據的統計分析和概率推理,模型並不懂得因果關系。另一些人則相信,要足夠精確地預測下一個詞,就意味著至少在一定程度上真正理解上下文。對此您是怎麼看的?

薩金特教授:這是一個非常古老的問題和議題。我喜歡你提出這個問題的方式,因為人工智能涵蓋眾多技術和工具,編碼和解碼正是其中之一。這項技術起源於20世紀,算得上歷史悠久。在第一次和第二次世界大戰期間,許多專傢開始利用數學進行編碼和解碼。他們使用的方法正如你所說,是利用語言的可預測性(predictability)。他們意識到字母並非隨機排列,單詞和句子之間也存在著某種關聯。為破譯語言,他們開始尋找其中的模式和規律,並使用一種叫做馬爾可夫鏈的工具,來分析事物今天的發展如何影響未來的走向。某種意義上說,這就是編碼和解碼的核心所在,它不僅僅是尋找模式,還是尋找跨越時間的模式(intertemporal patterns),甚至是在更長的時間范圍內存在的這種跨越時間的模式(intertemporal patterns cross time)。字母的排列中蘊含著某種模式,可以幫助我們預測未來。

那麼問題來,這算是理解嗎?或者說僅僅是一種模式識別?這就引出一個更深層的、甚至可以說是哲學層面的問題:究竟什麼是「理解」?我認為人們所說的「理解」,其中一部分就是對模式的深入解,對模式的詮釋,以及判斷哪些模式是真正持久的,哪些隻是偶然發生的。當然,這並不是一個完美的答案。

機器之心:那按照現有的深度學習或者大模型方法,人工智能可以從發現相關性發展到理解因果性嗎?

薩金特教授:我一直以來都在認真思考這個問題,最近還就此寫一些東西。問題的關鍵在於,不同的人對「因果關系」的理解並不相同,他們對因果關系的定義和所需滿足的條件也存在差異。YouTube 上有一個很棒的視頻,講的是一個人與物理學傢和哲學傢們探討因果關系,結果發現他們各執一詞。哲學傢大衛·休謨就非常重視因果關系,將因果推理視為知識的核心。休謨認為,因果性可以用特定類型的相關性來定義,也就是說,當我們觀察到一件事發生在另一件事之前,並且這種情況在不同的場景下反復出現,我們就會認為這兩件事之間存在因果關系。在休謨看來,相關性和因果性在某些情況下幾乎可以劃等號。當然,也有人對此持有不同意見,他們認為因果關系的內涵不止於此。然而,休謨堅持認為這就是因果關系的全部。這個議題很快就會上升到哲學層面,甚至觸及神學,變得非常復雜。

機器之心:那麼我們能否跳出哲學層面的探討,對大模型的因果推理給出一個數學上的定義或者描述呢?

薩金特教授:不能。

機器之心:為什麼您這麼快就給出否定的回答?難道我們毫無希望嗎?

薩金特教授:哦,不是的,我的意思是,我可以給出好幾種數學上的定義。在我的論文裡,我就給出好幾種。但問題是,有些人看會說,「對的對的,我就是這個意思」,可另一些人則會說,「不對不對,我說的不是這個,我明明是這個意思」,這種情況很常見,而且由來已久。

機器之心:我們今天面臨的一大挑戰是,大模型被視為「黑盒子」,其因果鏈(如果存在的話)極其復雜且難以定義,模型推理的原理或機制在很大程度上仍然未知。在您的經濟學研究中,您一直強調對因果關系的分析。您認為是否有必要令大模型掌握因果推理?如果是的話,我們該如何做到這一點?

薩金特教授:這是一個很好的問題。我是這樣看的,對於構建大模型的人來說,它並不完全是一個無法理解的黑盒子。他們使用特定的數學和統計工具,清楚地知道自己在做什麼,也明白模型在理想情況下如何運作(They know conceptually what they're doing in theory)。我甚至可以解釋說明這個過程。但問題是,這是否意味著大模型僅僅隻是在機械地遵循指令,識別某些模式?

讓我舉個例子,就像華為的自動駕駛汽車,它可以做出非常復雜的決定。作為一個局外人,如果你問我華為的自動駕駛汽車是怎麼做出某些決定的,我無法回答,但設計它的人知道。這是一個視角問題,就好比我手中的這臺華為手機(從兜裡拿出一臺手機),對我來說這是一個黑盒子,但是對華為來說,它不是。

你的提問都很有見地,因為它們觸及一個核心問題:當我們談論某個詞,比如「黑盒子」或「因果關系」時,我們究竟指的是什麼?我推薦你讀一篇文章,阿根廷作傢博爾赫斯的短篇小說《博聞強記的富內斯》(Funes the Memorious)。它講一個擁有超凡感知力的人,可以記住所見到的一切,對任何細節都過目不忘,例如你的一個動作,角度的改變,甚至陰影的變化。當你開始讀這篇文章的時候,你會覺得這個人很聰明,簡直無所不知。但讀到一半,你就會意識到他根本不會思考,因為他拒絕做信息壓縮(data reduction),無法從海量信息中提煉出模式和規律。很大程度上,模式識別就是把一大堆數據進行壓縮處理,而這正是智能的關鍵所在。當然,這也可能導致錯誤,例如把人按膚色分類,說這些是黑人,那些是白人,他們是不同的,就會犯下錯誤……

話說遠,回到你的問題,博爾赫斯的小說揭示一個有趣的現象。所以,當你說「因果」(cause)這個詞的時候,你實際上是在說模式(pattens),但哪些模式才能真正代表因果關系呢?

實際上,我在這裡(指2024年羅漢堂數字經濟年會)有一個演講,也會涉及相關內容,我不知道能否回答你的提問,但你可以聽一下,你會看到不同的人有不同的看法。就像在日常生活中,你會遇到對因果關系持不同態度的人,我想大多數人根本不在乎,比如說我的孫子們,還有我的女兒,你一提因果她就不耐煩,她隻關心漂亮的衣服、心愛的寵物。

機器之心:哈哈,這不也是一種快樂的生活嗎?

薩金特教授:這麼說也不錯,某種意義上。

註釋

[1] Thomas J. Sargent, Sources of Artificial Intelligence, https://www.tomsargent.com/research/AI_Sargent.pdf


相關推薦

2022-10-13

德和戴佈維格,再來聊聊伯南克,伯南克其實是這次所有諾獎得主裡最出名的一個,畢竟他曾經在 2006 年 -2014 年期間擔任美聯儲主席。伯南克在入主美聯儲之前其實是一個經濟學博士,癡迷於研究美國大蕭條時期的經濟情況。

2024-03-26

快科技3月25日消息,據媒體報道,諾貝爾經濟學獎得主克裡斯多夫皮薩裡德斯近日在采訪中深入探討生成式AI對勞動力市場可能產生的深遠影響,並表達對服務業未來發展的樂觀態度。皮薩裡德斯指出,雖然生成式AI的技術發展

2023-01-17

諾貝爾經濟學獎得主、紐約市立大學經濟學教授PaulKrugman日前表示,特斯拉永遠不會成為蘋果和微軟那樣的“賺錢機器”,因為它不可能在汽車行業建立不受挑戰的壟斷地位。他表示,特斯拉的汽車不太可能從“網絡效應”中受

2023-03-10

諾貝爾經濟學獎得主保羅·克魯格曼(PaulKrugman)不是加密貨幣的粉絲,但最近他使用一傢傳統金融公司的支付平臺時遇到麻煩,不得不在推特上表達自己的不滿,引發一眾幣圈大佬幸災樂禍地“支招”。 這位

2024-06-20

快科技6月19日消息,據媒體報道,在陸傢嘴論壇上,諾貝爾經濟學獎得主、倫敦政治經濟學院經濟學教授Christopher PISSARIDES談及自己對人工智能的看法。PISSARIDES教授指出,盡管存在AI將取代工作的擔憂,但他堅信AI實際上是在創造

2022-07-17

中穆拉德教授還有一個名號“偉哥之父”,原來正是他的諾獎發現一氧化氮能促使心血管擴張,促進勃起功能障礙藥物萬艾可(Viagra,俗稱“偉哥”)的發明。在聽花酒官微,還曬出穆拉德教授的出鏡視頻,他感謝青海春天的邀

2024-05-23

昆是一位法國裔美國計算機科學傢,也是2018年圖靈獎的得主。他在機器學習、計算機視覺、移動機器人和計算神經科學等領域都做出卓越的貢獻。他最為人所知的成就是在光學字符識別和計算機視覺上使用卷積神經網絡,因此

2022-10-10

,就今年諾貝爾經濟學獎可能授予的領域和學者做預測。諾獎不追熱點,近年來更偏向於實證研究上海財經大學經濟學院副教授王學博在接受澎湃新聞記者采訪時表示,他認為最有資格獲得今年諾貝爾經濟學獎的當屬美國麻省理

2022-10-05

譽。”誇密創始人兼CEO張文卓博士對鈦媒體App表示,此次諾獎中,阿斯佩教授的實驗是上世紀80年代做的,至今已經快40年,這在歷屆諾獎裡面算是相當長的時間。他認為,如果未來諾獎將頒發給量子通信(量子密鑰分發)創始

2024-02-08

最近,諾貝爾經濟學獎得主ChristopherPissarides公開表態,傳統意義上的“數理化”學科知識和技能,都將會被AI取代。而如果人類大部分的工作都消失,將以什麼樣的方式生存?最近,2010年諾貝爾經濟學獎得主,倫敦政治經濟學院

2024-03-21

方面,進行“大量”佐證。申請國際專利“吹牛”、拉來諾獎得主“背書”2021年,聽花酒業在線上舉辦一場“中醫理論指導白酒健康化研討會”,會上發佈《飲用聽花酒對成年男性身體機能影響的探索性研究》。該報告顯示,

2022-09-08

4680電池離量產還有距離。特斯拉引以為傲的4680電池,量產遇到大問題!連諾貝爾獎得主也確認。外媒路透社近日在采訪12位電池專傢後獲悉,因為電芯生產中的“幹式塗佈”工藝遲遲無法投入大規模量產,特斯拉的4680電芯自今

2023-03-27

變為通用人工智能嗎?Meta首席人工智能科學傢、圖靈獎得主YannLeCun對此表示質疑。在他看來,大模型對於數據和算力的需求實在太大,學習效率卻不高,因此學習‘世界模型’才能通往AGI之路。不過,微軟最近發表的154頁論文

2024-05-06

有人回答自回歸LLM足以勝任。然而,知名AI學者、圖靈獎得主YannLeCun並不這麼認為,他一直唱衰自回歸LLM。近日LeCun在哈佛大學的演講內容深入探討這些問題,內容長達95頁,可謂幹貨滿滿。LeCun 給出一個模塊化的認知架構,它可