Sora證明馬斯克的是對的 但特斯拉和人類可能都輸


Sora推出,馬斯克可能是心情最復雜的一個。不僅因為其本人與OpenAI早年的糾葛,更因為Sora實現的其實是特斯拉早幾年間一直在探索的方向。2月18日,馬斯克在科技主播@Dr.KnowItAll一條主題為‘OpenAI的重磅炸彈證實特斯拉的理論’的視頻下留言,稱‘特斯拉已經能夠用精確物理原理制作真實世界視頻大約一年’。


隨後他在 X 上轉發一條 2023 年的視頻,內容是特斯拉自動駕駛總監 Ashok Elluswamy 向外界介紹特斯拉如何用 AI 模擬真實世界駕駛。視頻中,AI 同時生成七個不同角度的駕駛視頻,同時隻需要輸入‘直行’或者‘變道’這樣的指令,就能讓這七路視頻同步變化。


當然,這不意味著特斯拉早在一年前就掌握 Sora 的技術,畢竟特斯拉的生成技術隻用於模擬車輛行駛,而 Sora 能夠處理的環境、場景、Prompt、物理規律等信息更加復雜,二者在難度上不可同日而語。

但特斯拉 AI 和 Sora 訓練的思路是一致的:並不是訓練 AI 如何生成視頻,而是訓練 AI 理解和生成一個真實的場景或者世界,視頻隻是從某一個視角觀察這個場景的一段時空。這是兩傢在現有業務上完全不同的公司,以彼此不同的方法來感知真實世界,而他們共同希望通向的,都是 AGI(通用人工智能),甚至更具體一些,就是具身智能和智能體。

理解這個觀點的核心,是理解 OpenAI 為 Sora 賦予的使命,並不隻是替代視頻生成的創作者,而是將視頻生成作為幫助 AI 理解真實世界的‘模擬器’。如果說特斯拉數以百萬計的車輛仍然需要用‘肉身’感受這個世界,那麼 Sora 則是單純依靠數據的輸入,建立起對世界的認知。


OpenAI 官網上,關於 Sora 的這篇研究論文名為《把視頻生成模型作為世界模擬器》。請註意‘世界模擬器’(world simulators)這個關鍵詞,它是比生成視頻更關鍵的核心所在。

其實,早在特斯拉發佈 FSD V12 的時候,這傢以汽車為主要消費產品的人工智能公司,就已經展示類似的能力。

如何理解呢?首先,在 FSD V12 上,工程師刪除超過 30 萬行定義駕駛規則的代碼,系統將從被‘投喂’的駕駛視頻中,學習如何應對真實的駕駛場景,而不是向過往那樣,按照寫好的規則,在某個特定場景下執行某一個具體的命令。

當然,和作為‘生成式模型’的 Sora 不同,FSD 的目標是實現自動駕駛,所以它並不需要真正生成一個具體的視頻。你可以想象成一個人(或者智能體)正在進行‘防禦性駕駛’,基於過往經驗,可以對周圍環境中交通參與者的下一步移動趨勢做出判斷。這個判斷存在在頭腦裡就行,不需要真正把它畫在紙上。因此,特斯拉的 FSD 也不需要把對未來的想象,生成為一個真實視頻,並呈現在車輛的某一個屏幕上。

所以,現在有 OpenAI 和特斯拉兩傢完全不同的公司,用截然不同的方式和路徑,實現‘通過視頻生成,讓 AI 理解物理世界’這個相同的目標。

簡單解一下 Sora 的運行邏輯:OpenAI 表示,Sora 結合 Transformer 和 Diffusion 兩個過去幾年最重要的模型。ChatGPT、Gemini、LLaMA 等語言模式都是基於 Transformer 模型,它對詞語進行標記,並生成下一個單詞;Diffusion 模型則是‘文生圖’的代表。

如果從‘理解世界’的角度來審視 Sora,那麼某一幀圖像的畫質、畫面關系絕不是模型質量高低的評判標準,甚至官網釋出的 60 秒一鏡到底視頻也不是最核心的部分。重要的是這個生成的視頻可以被剪輯——在不同的機位下,無論是廣角、中景、近景、特寫,視頻中人物和背景的關系都保持著高度的‘一致性’。這才是 Sora 遙遙領先並接近真實的地方。


這一點和特斯拉在 FSD 上采取‘純視覺’方案可以結合理解。簡單來說,99% 的車企或者智駕團隊都會在車輛上保留激光雷達,通過激光束的發射和接收,輔助計算周圍物體和車輛間的距離關系。但馬斯克不僅刪除 30 萬行代碼,還移除雷達,隻依靠高清攝像頭采集和神經網絡學習來判斷距離關系。

無論是對特斯拉,還是對 OpenAI,這都是巨大的挑戰。畢竟輸入的畫面是 2D 的,但輸出的結果(無論是駕駛指令還是視頻)都需要基於對 3D 世界的深刻理解。

規模和質量是訓練模型的核心。特斯拉的數據來源於真實道路上,搭載傳感器的車輛;而 OpenAI 的大量數據,從目前的公開信息來看,來源於網絡。在質量的維度,在《馬斯克傳》裡,作者艾薩克森寫道特斯拉通過和 Uber 合作,獲取‘五星司機’的素材訓練 FSD;而從規模出發,奧特曼最近希望籌集萬億規模的資金,就是重註算力和規模的具體體現。


最後,回到一開始的那個問題,為什麼我們會認為 Sora 和 FSD v12 是相似的?Sora 和 OpenAI 未來的想象空間又是什麼呢?它們和 AGI 又有什麼關系?

在馬斯克看來,當人工智能可以真正解決一個問題(物理、數學、化學等等)的時候,AGI 就到來。不過還有另外一個理解維度,那就是具身智能。畢竟現實世界裡,並不是隻有數學公式和文字規則,擁有一定的智商的小貓小狗也可以依靠運動真實地和物理世界進行互動。

這點對於過去隻能輸入二維信息的 AI 來說很難做到。這也是為什麼馬斯克看到 Sora 後在 X 上評價是‘GG Humans’,在他看來 Sora 今天做到的,已經打破過去的次元壁,而能理解真實世界並繼續學習,AI 也就有更進一步影響真實世界的能力。

而就像特斯拉把這種生成能力用於訓練車輛,Sora 的價值也不僅僅是生成一個難以讓人區分真假的視頻,用作影視創作者的生產力工具(盡管這是一個非常困難且剛需的場景)。就像周鴻禕所說,‘Sora 隻是小試牛刀,它展現的不僅僅是一個視頻制作的能力,而是大模型對真實世界有理解和模擬之後,會帶來新的成果和突破。’


相關推薦

2024-02-20

頻,相對的,Pika是3秒,Runway是4秒,Lumiere是5秒。最重要的是,Sora有望解決一個生成式AI的痛點,那就是同樣的提示詞通常不會生成同樣的結果,例如“黃白相間的貓”這個提示詞,不同的視頻裡會出現不同模樣的黃白相間的貓

2024-04-12

etric Intelligence的CEO加裡馬庫斯稱,願意賭一百萬美元,來證明馬斯克的預言錯誤。馬庫斯稱在某些方面,計算機確實比人類更聰明,如翻譯、國際象棋等。他反對馬斯克的觀點是,所有由人類自己從事的智力勞動都將被Al戰勝”

2024-03-06

克與薩姆·奧特曼等公司聯合創始人之間的五封郵件,以證明馬斯克曾同意該公司籌集更多資金、創建營利性組織並逐步放棄開源產品發佈的計劃。OpenAI還表示,打算采取行動,駁回馬斯克的所有指控。矽谷風投大佬馬克·安德

2022-08-18

8月18日消息,特斯拉首席執行官埃隆·馬斯克(ElonMusk)在推文中戲言要收購曼聯,促使後者股價飆升。但法律專傢表示,這條推文不太可能引來監管機構的審查。美國當地時間周二,馬斯克在Twitter上對1.03億粉絲說:“我要買下

2023-03-30

3月30日消息,特斯拉首席執行官埃隆·馬斯克(ElonMusk)、蘋果聯合創始人史蒂夫·沃茲尼亞克(SteveWozniak)以及其他1000多人日前簽署一封公開信,呼籲暫停訓練比GPT-4更強大的AI系統。美國主流網絡媒體BI認為,為全社會的利益

2024-03-21

希望繼續朝著現在已經成為 OpenAI 的方向前進。他還希望特斯拉能夠建立 AGI。在不同時期,他都希望將 OpenAI 打造成一傢營利性公司,由他來控制,或者讓它與特斯拉合並。我們不想這麼做,所以他決定離開,這也沒什麼。記者

2022-07-21

特斯拉CEO埃隆·馬斯克在大洋彼岸的一句簡單評論,再一次引發國內科技業界對於“腦機接口”的空前討論。近日,狗狗幣聯合創始人比利·馬庫斯在Twitter上提問稱,“如果你將自己的大腦上傳到雲端,並且與自己的虛擬版本交

2024-02-27

一線吃瓜仔馬斯克來說, Sora 剛發佈他就貼臉開大,咱傢特斯拉去年就有很好的視頻生成。但說實話,我要是特斯拉公關( 如果有的話 ),我肯定跟老馬說,咱要不就別硬蹭唄,這看起來和 Sora 根本就不是一個位面的作品。或

2024-03-06

I宮鬥中被意外暴露的Q*。其實,無論究竟是5還是Q*,都能證明OpenAI有極大的可能,已經在AGI上實現突破。屆時,Anthropic與OpenAI的競爭,就不是誰響應更快、準確性更高、記憶更好等等層面的比拼,而是不同維度的高下立見。當然

2024-03-02

辦非營利組織OpenAI,後來馬斯克因為與開發自動駕駛AI的特斯拉存在利益沖突在2018年離開。多年來,馬斯克對OpenAI轉向商業盈利和閉源模式怨氣頗深,經常在社交平臺上表達不滿,對OpenAI與微軟的合作冷嘲熱諷。馬斯克這次起訴

2023-03-30

I 模型,為期至少 6 個月。公開信中表示,頂級 AI 實驗室證明,具有人類水平智能的 AI 系統可能對社會和人類帶來極大的風險。而這封公開信的主要目的是為讓AI變得透明和可控。“我們應利用這次暫停的時間,共同開發和實施

2024-02-18

間而言,優化的DiT比UNet運行得快得多。更重要的是,Sora證明DIT縮放法則不僅適用於圖像,現在也適用於視頻——Sora復制DIT中觀察到的視覺縮放行為。猜測:在Sora的演示中,第一個視頻的質量相當差,謝懷疑它使用的是最基礎

2024-03-02

機器人上的競爭。奧特曼沒有直接回復,而是挖墳出當年特斯拉備受爭議時自己力挺馬斯克的貼子,時隔五年回復:隨時奉陪。他沒有選擇正面交手,卻在應戰的同時暗含一絲諷刺。兩位正主這邊較著勁,圍觀吃瓜也沒閑著,從

2024-01-31

華州一名法官宣佈馬斯克550億美元的薪酬方案無效,裁定特斯拉董事會未能證明這一“薪酬計劃是公平的”。此前,特斯拉股東Richard Tornetta向該法院提起訴訟,聲稱馬斯克550億美元的薪酬過高。該股東還表示,馬斯克通過與董