谷歌通用AI智能體發佈 3D遊戲玩法要變天


10秒內可以完成的簡單任務,而且未見過的遊戲也會玩。GoogleDeepMind號稱打造出首個能在廣泛3D虛擬環境和視頻遊戲中遵循自然語言指令的通用AI智能體。名為SIMA,不是NPC,是可以成為玩傢拍檔,幫忙幹活打雜的那種。


比如,在《模擬山羊3》(Goat Simulator 3)中當司機開開車:


在《幸福工廠》(Satisfactory)中挖礦石:


在《瓦爾海姆》(Valheim)中尋找水源:


在《無人深空》中(No Man’s Sky)駕駛宇宙飛船射擊小行星收集資源:



……

SIMA全稱Scalable Instructable Multiworld Agent,顧名思義可擴展、可指導、多世界。

之前,GoogleDeepMind在AI+遊戲方面也做過許多工作,比如推出能和人類玩傢打PK、會玩《星際爭霸II》的AlphaStar系統。

而SIMA被DeepMind稱作是一個“新的裡程碑”,主打從適用單一遊戲轉向通用多種遊戲,且可遵循語言指令。


SIMA一公開,網友們也是討論熱烈。

讓它們替我完成無聊繁瑣的任務,這樣我就可以直接做有趣的部分,而不必花幾個小時培育chocobos獲取隨機召喚。


嗯…《最終幻想》(Final Fantasy)玩傢無疑。

專業《模擬山羊》玩傢在此刻也懵:


最近這一連串的AI進展也是整的網友們措不及防,直呼“慢一點”:


10秒內完成的簡單任務

接下來再來看一波SIMA的表現。

為讓SIMA接觸到更多遊戲環境,開發團隊表示目前已與八傢遊戲工作室合作,在九款不同的視頻遊戲上訓練和測試SIMA。



當前的SIMA已在600個基本技能上進行評估。


基本操作、交互、使用菜單都會:


簡單的任務,10秒內可完成。


各種場景都能適應:


除此外,GoogleDeepMind還發佈一份技術報告,一起來看看裡面都有啥。

未見過的遊戲也會玩

SIMA的整體架構是將預訓練視覺模型與自監督學習的Transformer相結合。

從用戶那裡接收語言指令,並從環境中獲取圖像觀察結果,然後將它們映射為鍵盤和鼠標動作。

具體架構如下圖:


開發人員收集一個既包括精選研究環境又包括商業視頻遊戲的大型多樣化遊戲數據集。

此外,他們還用Unity創建的一個新環境,名為“the Construction Lab”。在這個環境中,智能體需要使用積木構建雕塑,這考驗它們對物體的操縱能力和對物理世界的理解。

數據收集包含多種方法,比如讓不同成對的人類玩傢的互動,其中一名玩傢觀察並指導另一名玩傢,以此來捕獲語言指令;讓玩傢自由玩遊戲,觀察他們的操作,並記錄下可能導致其遊戲行為的指令。


通過在不同的遊戲世界中學習,SIMA能夠將語言與遊戲行為相結合。


不需要訪問遊戲源代碼,也不需要定制API,僅需要兩個輸入:屏幕上的圖像和用戶提供的簡單的自然語言指令。

然後SIMA就會使用鍵盤和鼠標輸出來控制遊戲角色以執行這些指令,這一操作與人類類似,也就意味著SIMA有潛力與任何虛擬環境互動。


在評估測試中,研究人員表示SIMA在九個3D遊戲集上接受訓練,表現顯著優於僅在單個遊戲上專門訓練的智能體。


而且SIMA在未訓練過的遊戲中的表現和專門使用該遊戲數據集訓練過的智能體表現一樣好。

也就是說,SIMA在全新環境中具備泛化能力。


此外測試結果還顯示,SIMA的性能依賴於語言。在一個控制測試中,智能體沒有接受任何語言訓練或指令,它就會出現無目的的操作,不遵循指令。

而且,和人類玩傢相比較,SIMA水平還是差一點。

本文來源:量子位,原文標題:《Google通用AI智能體發佈,3D遊戲玩法要變天》


相關推薦

2024-03-15

10秒內可以完成的簡單任務,而且未見過的遊戲也會玩。GoogleDeepMind號稱打造出首個能在廣泛3D虛擬環境和視頻遊戲中遵循自然語言指令的通用AI智能體。名為SIMA,不是NPC,是可以成為玩傢拍檔,幫忙幹活打雜的那種。比如,在《

2024-03-16

10秒內可以完成的簡單任務,而且未見過的遊戲也會玩。GoogleDeepMind號稱打造出首個能在廣泛3D虛擬環境和視頻遊戲中遵循自然語言指令的通用AI智能體。名為SIMA,不是NPC,是可以成為玩傢拍檔,幫忙幹活打雜的那種。比如,在《

2024-03-15

10秒內可以完成的簡單任務,而且未見過的遊戲也會玩。GoogleDeepMind號稱打造出首個能在廣泛3D虛擬環境和視頻遊戲中遵循自然語言指令的通用AI智能體。名為SIMA,不是NPC,是可以成為玩傢拍檔,幫忙幹活打雜的那種。比如,在《

2024-08-11

快科技8月10日消息,據媒體報道,美國法官認定谷歌是一傢壟斷企業,這一決定的後果是,谷歌可能要被迫剝離安卓業務。眾所周知,谷歌要求合作夥伴在他們的設備上預裝谷歌搜索和其他谷歌服務,谷歌搜索因此和安卓手機深

2023-11-10

供非常詳細的提示信息。這些提示信息就是當GPT-4利用其通用知識庫回答問題時,需要牢記的一些說明,可以指導GPT-4生成相對個性化的輸出。但在新的定制服務框架下,OpenAI會利用客戶自有的大量內部文檔數據,定制訓練出一

2024-08-12

隨著AI時代的到來,PC也步入更新迭代的關鍵時刻,高通發佈面向PC平臺的驍龍X Elite處理器,這是高通迄今為止最強悍的Arm PC芯片,對標X86陣營的英特爾。如今聯發科即將進入AI PC領域,旗下首款AI PC芯片已在路上,據媒體報道,

2024-05-21

找一條商業化之路。二是,大模型技術已經卷的差不多,通用模型具備的是通識能力,是不能解決特定行業特定場景的實際問題的,隻有一項技術被成功大規模商用才是真正的成功,顯然,經過一年的技術比拼,已經到驗證的階

2023-02-08

本也更具有優勢。從快充和低溫性能來看,寧德時代此前發佈的鈉離子電池產品,在充電15分鐘的情況下就能達到80%的容量,在零下20℃的低溫環境下,仍能保持90%以上的放電保持率。

2023-06-27

快科技6月27日訊,谷歌日前終於確認,Android機器人的Logo將首次調整為3D化風格。事實上,早在年初的CES 2023上,3D化的新機器人就首次出現,前不久的I/OD大會上,它再度亮相。除Logo放棄扁平化,改為擬物化,機器人配套的android

2024-05-01

爭議。OpenAI 聲稱 Sora“擴展視頻生成模型是構建物理世界通用模擬器的一條可行之路”。英偉達高級研究科學傢 Jim Fan 也斷言,Sora 是一個數據驅動的物理引擎,是一個可學習的模擬器,或“世界模型”。但也有人對此提出質疑

2023-02-20

夜之間,人們似乎都在期待,智能搜索引擎會怎樣幹掉以谷歌和百度為代表的傳統搜索引擎?ChatGPT火好一陣,各種消息還是層出不窮。有人讓它幫自己寫文案,有人在暢想什麼工作會被它取代,有人已經拿它當副業開始賺錢,

2023-05-12

遊戲史上最經典的作品之一。快科技5月12日消息,近日,谷歌召開I/O 2023開發者大會,在會上,谷歌宣佈,為紀念小蜜蜂”發佈45周年,將與太東合作,推出紀念性質的AR手遊《Space Invaders: World Defense》。據悉,這款手遊將允許玩

2022-12-11

類對戰任務,尤其適合研究競爭性強化學習中的泛化性與通用性問題。現在,研究者隻需在騰訊開悟平臺官網註冊賬號、提交資料並通過平臺審核,即可免費下載王者榮耀1v1測試環境gamecore,在本地進行AI相關研究測試。騰訊介

2023-11-09

GoogleDeepMind聯合創始人謝恩·萊格(ShaneLegg)帶領的DeepMind研究團隊發佈論文。當地時間11月4日,GoogleDeepMind聯合創始人謝恩·萊格(ShaneLegg)帶領的DeepMind研究團隊發佈論文(LevelsofAGI:OperationalizingProgressonthePathtoAGI),提出對通用