今日,周鴻禕再次談到Sora視頻模型,他表示Sora生成視頻堪比CG。周鴻禕發視頻稱,Sora有三個片段讓他覺得非常驚訝。其中一個是一堆金毛小狗在雪地裡打滾兒,狗狗用鼻子拱雪,甚至一粒一粒的雪粒都能感覺到,他感覺這個畫面非常真實。
他認為,對比Pika和Runway是做不出這樣效果的。Pika和Runbway實際上是基於圖形圖像本身的操作來進行生成。隻是形成一種比較簡單的計算機動畫的效果。
周鴻禕說:“即使是用常規呢計算機CG電影工業特效來看這三個畫面,那也會非常難做,但是到Sora這裡,這些細節都會變得非常簡單,隻要給出一些文字的提示要求,就能逼真描繪出來”。
他認為,Sora是沒有做3D建模的。如果Sora也隻是用3D建模再進行渲染,那麼這和傳統的電影工業走的是一樣的路,這樣就不具備顛覆性和革命性。
周鴻禕猜測Sora做到如此效果有三點原因:
1、Sora模擬人類觀察、描繪、表現世界的方法。如果人類畫師用筆畫出來這三個場景,人類的大腦裡不需要3D建模,因為人類對世界有基本認知。人類可以隨意想象出自己要做的事,可以控制自己所想。
2、Sora在學習的過程中,用很多視頻、電影的內容來作為訓練輸入。當輸入一些畫面,不僅要解讀出畫面的元素,還要解讀出一些物理定律。
openAI的論文中曾提到recaptioning技術,意思是對每一幀畫面都能夠用文字來描述。這點也正符合人類認知世界的方法。
3、openAI產生很多3D內容。不排除它用現在遊戲引擎做很多實時3D模型的渲染,再利用這些3D模型把更多的物理知識訓練給Sora。
周鴻禕表示,Sora是記錄文生視頻AIGC的工具,它反映AI對世界的理解,是從文字進入圖像,再從圖像展示對這個世界3D模型的理解。