MIT科學傢發現計算機可以理解復雜的詞匯和概念


研究人員正在研究具有AI的機器是否能夠模仿人類的思維過程並以類似的方式理解詞語。來自美國加州大學洛杉磯分校、麻省理工學院(MIT)和美國國立衛生研究院(NIH)的研究人員剛剛發表一項回答該問題的研究。

這項發表在《Nature Human Behaviour》上的研究表明,人工智能系統可能真的能夠理解高度復雜的詞義。研究人員還發現一種獲得這種復雜信息的簡單方法。他們發現,他們所研究的人工智能系統以一種跟人類判斷非常相似的方式來表示詞義。

研究人員們所探索的AI系統在過去十年中被廣泛用於分析單詞的含義。它通過“閱讀”互聯網上的大量材料來獲取詞義,這些材料包含數百億個單詞。

當單詞經常出現在一起時--如“桌子”和“椅子”--系統就會解到它們的含義是相關的。而如果成對的詞很少出現在一起--比如“桌子”和“星球”--它就會解到它們有非常不同的含義。

這種方法似乎是一個合乎邏輯的起點,但考慮一下,如果理解意義的唯一方法是計算單詞之間出現的頻率而沒有任何跟其他人和我們的環境互動的能力,那麼人類將如何理解這個世界。

加州大學洛杉磯分校心理學和語言學助理教授Idan Blank是這項研究的共同牽頭人,他稱研究人員著手解該系統對所學單詞的解及它有什麼樣的常識。

Blank表示,在研究開始之前,該系統似乎有一個主要限制:“就系統而言,每兩個單詞隻有一個數值,代表它們的相似程度。”

相比之下,人類的知識要詳細和復雜得多。

“考慮一下我們對海豚和短吻鱷的知識,”Blank說道,“當我們在大小的尺度上比較兩者時,從‘小’到“大”,它們是相對相似的。就它們的智力而言,它們有些不同。就它們對我們構成的危險而言,在從‘安全’到‘危險’的范圍內,它們差別很大。所以一個詞的意義取決於上下文。我們想問這個系統是否真的知道這些微妙的差異--它對相似性的想法是否與人類的想法一樣靈活。”

為找出答案,研究人員們開發一種他們稱之為“語義投射”的技術。如人們可以在模型對 “大”和“小”這兩個詞的表述之間畫一條線看看不同動物的表述在這條線上的位置。

通過利用這種方法,科學傢們研究52個詞組,以看看該系統是否能學會對意義進行分類--比如根據動物的大小或對人類的危險程度判斷動物,或根據天氣或總體財富對美國各州進行分類。

在其他詞匯分組中,有跟服裝、職業、體育、神話生物和名字有關的術語。每個類別都被賦予多種背景或維度--如尺寸、危險、智力、年齡和速度。

研究人員發現,在這些許多對象和背景中,他們的方法被證明跟人類的直覺非常相似。為進行這種比較,研究人員還要求每組25人對52個詞中的每一個做出類似的評估。

值得註意的是,該系統學會感知“Betty”和“George”這兩個名字在相對“老”方面是相似的,但它們代表不同的性別。還有,“weightlifting(舉重)”和“fencing(擊劍)”在通常都在室內進行方面是相似的,但在它們需要多少智力方面則不同。

“這是一個如此漂亮的簡單方法,而且完全是直觀的,”Blank說道,“‘大’和‘小’之間的界限就像一個心理尺度,而我們把動物放在這個尺度上。”

Blank表示,他實際上並不指望這項技術能起作用,但當它起作用時他很高興。“事實證明,這個機器學習系統比我們想象的要聰明得多;它包含非常復雜的知識形式,而且這些知識是以一種非常直觀的結構組織起來的。僅僅通過記錄哪些詞在語言中相互共現你就可以解到很多關於這個世界的信息。”


相關推薦

2022-08-24

是最容易或最理想的再現。考慮到這一點,來自MIT計算機科學和人工智能實驗室(CSAIL)的科學傢創建“VISTA 2.0”--這是一個數據驅動的模擬引擎,車輛可以在現實世界中學習駕駛並從幾乎崩潰的情況下恢復。更重要的是,所有的代

2023-11-13

用AI理解動物地球物種項目(Earth Species Project)的計算機科學傢Britt Selvitelle表示,他們正在努力破譯第一種非人類語言,並且有可能在五到十年內實現。在動物語言領域,雖然研究人員數十年來已經積累大量知識,但世界上還並

2022-07-31

3個孩子移民到德國,淪為“流民”。首創康奈爾計算機科學系Hartmanis的中學學業就是在德國哈瑙(Hanau)的難民營中完成的。1949年,他取得馬爾堡大學(University of Marburg)物理學碩士學位。兩年半後,也就是1950年,Hartmanis獲得資

2023-03-23

卡夫於1946年出生在美國紐約,是一位享譽全球的計算機科學傢、工程師和企業傢。他在計算機和通信領域作出傑出的貢獻,尤其是以太網(Ethernet)的發明成為他最為人稱道的成就。來源|智源社區梅特卡夫在1970年代初在美國

2023-11-16

,我們總會隱約覺得它們可能真的有意識。然而,從神經科學傢們的視角來看,這種觀點似乎很難站得住腳。最近,一篇發表於Cell子刊TrendsinNeurosciences的論文中,三位分別來自計算機科學、生物學和神經科學的學者深層剖析“

2023-02-27

算機視覺領域顯然受到啟發。一直沉迷於CNN神經網絡中的科學傢,開始想知道Transformer是否可以在計算機視覺方面取得類似的效果。不試不知道,一試嚇一跳。Transformer在計算機視覺領域同樣治療效果明顯:❶ 圖像分類ViT(Vision

2022-09-25

有更好理解力的更復雜的圖像,來自麻省理工學院計算機科學和人工智能實驗室(CSAIL)的科學傢們從不同的角度對典型的模型進行結構化設計:他們將一系列的模型加在一起,按照輸入文本或標簽的要求,合作生成捕捉多個不

2023-03-15

還真不能說是編劇拍腦袋想出來的。現實世界裡,真的有科學傢在琢磨,怎麼把肉眼可見的真菌——蘑菇,做成計算機的主板、芯片啥的。比如不久前,英國西英格蘭大學的科學傢,就成功做出一個蘑菇計算機原型。你是不是覺

2022-08-25

一位擅長以各種創新方式從斷網設備中提取數據的安全研究專傢近日發現一個新漏洞,可以使用手機竊取氣隙系統的數據。氣隙系統(airgapped)指的是,將電腦與互聯網以及任何連接到互聯網上的電腦進行隔離。該系統在物理上

2024-03-25

變化比大傢想象的要容易預測得多,”斯坦福大學計算機科學傢、論文的資深作者薩恩米·科耶喬(Sanmi Koyejo)表示,“所謂的湧現更多地與我們選擇的衡量模型工作方式有關。”研究人員之所以現在才開始發現和研究這種行為,

2024-03-27

頂會 ICLR 2024 上。麻省理工學院(MIT)電氣工程和計算機科學系博士 Yanwei Wang 為該研究論文的通訊作者。他表示,模仿學習是實現傢用機器人的主流方法。但是,如果機器人盲目地模仿人類的運動軌跡,微小的錯誤就會不斷累積

2023-11-26

史蒂文斯理工學院(Stevens Institute of Technology)的計算機科學傢。他表示,現實情況是,當涉及到信息時,並不一定越多越好。為研究人們如何做出決策,研究人員通常會創建簡單的圖表--或因果模型--來展示不同因素如何在邏輯

2022-11-01

存在,而不一定是房間另一邊離你很遠的幾何特征,我們發現這些信息比簡單的全連接網絡能更好地概括。”展望未來,研究人員希望進一步加強該模型,使其能夠將更大、更復雜的環境可視化,如一棟建築甚至整個城市。您可

2023-04-07

現可以說是計算機視覺領域的GPT-3時刻。英偉達人工智能科學傢 Jim Fan 表示此次SAM最大的一點突破是它已經基本能夠理解“物品”的一般概念,即使對於未知對象、不熟悉的場景(例如水下和顯微鏡裡的細胞)它都能比較準確的