周鴻禕又口出狂言。他說,“AGI(通用人工智能)的實現將從10年縮短到1年”,而背後的原因,僅僅是因為一個1分鐘的短視頻。註意看,這個女人叫小美,她正向我們走來。雖然身處日本某條熱鬧的大街,小美卻總是不停地回頭張望,似乎在暗示觀眾鏡頭之外隱藏不為人知的秘密。
▲圖:主角出場
鏡頭拉近,可以清晰看到小美修長的脖子和優美的下頜線,讓整個畫面充滿令人無法抗拒的神秘和美感。
▲圖:細節展示
實際上,整個短視頻中,從街景到行人,包括小美,在現實中根本不存在。這是OpenAI最新產品Sora制作的演示視頻,而正是這個視頻,讓周鴻禕做出AGI發展將會10倍提速的預言。
傳統方式制作這樣一段1分鐘的視頻成本非常高。除需要選址,選演員,提前進行分鏡構圖,架設機位外等,想要碰上如此理想的天氣,還需要賭一賭運氣。落日轉瞬即逝,一旦失誤就隻能第二天重頭來過。
拍攝完成後,是非常耗時的後期制作。不僅要調整畫面色調,還要仔細核對畫面中是否有瑕疵,比如眼鏡反射的畫面會不會導致穿幫、路人中是否出現不協調元素等等。
但Sora出馬,全部流程就是(字面意義上的)一句話的事。
Sora官網上公佈十幾段“制作”精良的高清演示短片, 從現實人物到3D動畫,所有短片都是通過一句話生成的。
▲圖:Sora展示視頻
看過這些短片後,我科技圈的朋友集體表示“炸裂”;大眾圈的朋友表示“AI都到這種程度嗎”;而攝影圈的朋友表示,盡管還是能看出和人類攝影師有一點點差距,但依然被Sora的效果震撼,進而紛紛開始和我討論起失業以後,除送外賣還可以從事什麼工作。
但如果我們拋開網上鋪天蓋地、對Sora近乎玄幻的贊譽,跳出官網演示視頻的魅惑就會發現,Sora本質上是生成式AI在視頻領域的一個應用,一個diffusion transformer模型。
而官方宣傳的Sora所有功能,例如通過文字或者圖片生成高清短視頻,在此基礎上進行擴展生成一段更長的視頻等,其實很多公司都在做。比較知名的產品包括已經商用的Runway,免費的Pika,以及還在完善階段的Google Lumiere、Meta Make-A-Video,還有一些知名度稍低的產品如Leonardo,FinalFrame等等。
這裡就有一個很大的疑問:憑什麼出圈的又是Sora,它真有網上說的那麼神嗎?
憑借更逼真的效果
OpenAI再次出圈
1月24日,Google研究人員公佈一段Lumiere的演示視頻。畫質非常高清,且真實。
▲圖:由Lumiere生成的遊泳海龜視頻
Lumiere除可以生成真實圖片外,還可以實現一鍵換裝、根據圖片和提示詞生成動態視頻等功能。
▲圖:一鍵換裝
▲圖:通過圖片生成視頻
2月15日,剛剛過完情人節的Google在瘋狂星期四又重磅推出下一代AI產品Gemini 1.5。在此前的演示視頻中,Gemini已經展現其在圖像識別和多輪對話中的逆天能力。
演示視頻中,演示人員畫一個類似鴨子的輪廓讓Gemini辨認,Gemini表示它覺得像個鳥。
▲圖:Gemini演示
但是當演示人員畫上波浪後,Gemini表示通過長脖子長嘴又會遊泳這幾個依據,判斷這是隻鴨子。
▲圖:Gemini演示
隨後演示人員拿個玩具小鴨子問Gemini這個東西是什麼材質做的,Gemini表示看起來可能是橡膠也可能是塑料。而當演示人員捏響橡膠鴨子後,Gemini立刻判斷出是用柔軟的橡膠做成的。
▲圖:Gemini演示
就在圈內很多人認為Google將要憑借Lumiere和Gemini拿下今年頭條的時候,OpenAI僅僅用Sora就輕松獲得更高的關註度。
Sora這個詞很有意思,它在韓語中表示海螺殼,在日語中表示天空,在芬蘭語中表示砂礫。這就很難不讓人想到《海底兩萬裡》的鸚鵡螺號,《沙丘》,以及“我們的目標是星辰大海”的豪情壯志。
而且Sora是一個比較常見的名字,比Lumiere(法語,光)更短、更好讀。
和GPT當年的故事如出一轍,Sora也是踩著競爭對手以碾壓式的優勢勝出。相比同類產品,Sora能抓住提示詞的精髓,巧妙地生成具有多個角色和特定動作的場景。
有人做過對比,使用同樣的提示詞,讓AI生成一個在花園裡、似乎正在追逐什麼東西、快樂奔跑的黃白相間的貓,最終結果的差距十分明顯。
▲圖:不同AI產品的效果對比
上面由Sora生成的視頻看起來非常真實,甚至在奔跑時候,貓腮幫子上的毛都會隨著腦袋起伏。而下面通過Pika, Runway, Leonardo, FinalFrame生成的視頻,貓不僅看起來不像真的,連動作都很詭異。
在生成的視頻時長上,Sora也碾壓友商。Sora可以生成1分鐘的視頻,相對的,Pika是3秒,Runway是4秒,Lumiere是5秒。
最重要的是,Sora有望解決一個生成式AI的痛點,那就是同樣的提示詞通常不會生成同樣的結果,例如“黃白相間的貓”這個提示詞,不同的視頻裡會出現不同模樣的黃白相間的貓。導致的結果,就是無法通過拼接來創作更長的視頻。
盡管Sora一出道就秀出遠超同行的肌肉,但Sora並沒有選擇像Pika、Runway一樣,開放給大眾使用,而是采取Google、Meta類似的保守策略,先官宣來吊足大傢胃口,然後慢慢內測,等待一個合適的時機,再向大眾開放。
因為,有很多關鍵問題,大傢都沒有找到好的解決方案。
AI一調皮
人類就頭疼
生成式AI天生就有一個“不按物理定律出牌”的老毛病,即便是看起來已經非常接近真實世界的Sora也不例外。這個問題過於明顯,以至於OpenAI都懶得去遮掩,幹脆自己先大方的說出來。
從內測用戶流出的視頻可以發現,Sora無視物理法則隨意發揮的意願十分高漲,而這種意願在“必須還原物理世界”的規則約束下,很容易生成像人類做夢一樣的場景。有過做夢經歷的朋友應該會這樣的體會:明明夢是虛幻的,但在夢裡你的感受又很“真實”。
下面就是個很典型的例子。
▲圖:Sora的夢境物理
註意看,視頻中的這個杯子莫名其妙的跳起來並側翻在桌面上,杯中的液體在杯子跳起來的一瞬間穿透杯底鋪滿桌面,而最終杯子連同裡面剩餘的液體一起,融進桌面。
▲圖:融進桌面的杯子
這樣的視頻顯然無法應用在正式的場合,大概率隻能出現在B站的鬼畜區,告訴你一個學3年動畫的人,是如何因為一個畢業作品被老師轟出門外的故事。
此外,Sora對算力有很高的要求。下面這個視頻演示低算力和高算力之間的差距能有多可怕。
▲圖:算力差距
而想要高算力,就得花更多的錢。
以Runway為例,個人版收費模式分3檔,標準版為每月15美元,可以制作一個125秒的Gen-1視頻,或者44秒的Gen-2視頻,相當於每秒1-2.4元人民幣,超出部分需要額外付費。Pro版每月35美元,至尊版每月95美元。而用戶如果希望加快視頻的產出效率,也需要額外購買“時間”。
能力越大
危險越大
生成式AI在社會層面有幾個老生常談的問題。
首先就是造假問題。AI生成的視頻越真實,造假就越容易。最直接的解決辦法是將AI生成的內容打上一個特殊的標簽,以便於平臺將其和人工拍攝的視頻進行區分,OpenAI和Google的確也在做這件事。
但水印的問題在於,它可以在分享的過程中會被人惡意抹除。例如通過截圖、錄屏的方式獲得視頻副本,不會帶有任何水印。
其次是版權問題。版權問題比造假更加復雜,它既是一個形而上的宏大概念,又和每一個創作者的個人利益息息相關。目前對版權的爭論主要集中在AI和人類對齊的過程中,比如,AI通過學習別的藝術傢的風格在此基礎上進行的創作,和人類以同樣方式進行的創作,本質上有沒有區別?
而更直白的問題則是,AI到底是來幫我賺錢的,還是來跟我搶錢呢?
這些問題一個比一個難解決,也就意味著Sora們至少在短時間內不會向公眾開放。從某種角度來看,這或許對於視頻制作者是一個好消息,至少有更多的緩沖時間,來思考如何應對接下來Sora們帶來的沖擊。
無論如何,Sora們向公眾開放,隻是時間問題,至於會不會像周鴻禕預言的那麼快,可能還存在疑問。但有一點毫無疑問:
那時候的Sora們,將比現在更加強大。
作者|吳狄
出品|零態LT(LingTai_LT)