前兩天世超不是剛寫Runway塗一塗就能動的功能麼,沒想到這熱乎勁還沒過去,就又有新產品來炸場。這次的主角,是一個名叫Pika的視頻生成模型。這傢公司今年四月才成立,別看它初出茅廬,它已經融資到5500萬美元,連OpenAI的科學傢都出來開啟誇誇模式。
甚至其中一個創始人爸爸的上市公司,還在 Pika 的爆火下漲停,真就父憑女貴……
世超也聞著味兒,直接去他們的官網,想一探究竟。
結果,他們的宣傳視頻,上來就把我給唬住。
它除丟一張圖片進去就能生成一段視頻之外。
還能靠一兩句提示詞就生成一個視頻。
比如讓它生成一個在太空裡講話的 3D 動漫的老馬。
這臉型、這神態,估計是連馬斯克本人看到都會直呼牛 X 的程度。
丟段視頻進去, Pika 也能根據提示生成新的內容。
像演示裡,丟個騎馬小夥的剪影視頻進去,根據提示詞就能生成對應的風格。
並且把現實風、 3D 卡通風、像素風各種風格拼接在一起後,之間的切換無比絲滑,整個過程裡騎馬的動作絲毫沒有變形。
甚至這個 Pika 已經能直接對視頻進行局部修改,指哪打哪……
隻要鼠標輕輕拖拽一下,框出視頻裡要修改的元素,分分鐘就能給小姐姐來個換裝,順便給黑猩猩帶個墨鏡。
有一說一,就上面那些演示的功能和效果,幾乎可以把一大部分視頻生成 AI 吊起來打。
但,上面這些官方給出的演示視頻,大傢 dddd 。
實際和演示的有哪些差距?老樣子,世超先替你們測評一波。
現在正式網頁版的還得排隊,我們隻能先在 Discord 社區裡體驗一下 “ 閹割版 ” 的,隻有文字生成視頻和圖片生成視頻兩大功能。
打開 Discord 裡面的 Pika 社區後,整個界面的主體就是入門介紹,左邊有個 “ CREATIONS ” 的下拉入口,裡面的 10 個生成入口,隨便進一個都可以體驗。
用的時候也很簡單,打個“ / ” ,會自動彈出後綴, Pika 的主要兩大功能就是 /animate ( 圖片生成視頻 )和 /create ( 文字生成視頻 )。
選擇模式之後,就跟用 ChatGPT 一樣,打字或者輸入圖片講需求就行。
雖然這個 Pika 不像 Runway 有專門的參數調節欄,但想要調節參數它也是可以的,直接加後綴就行。
並且這個 Pika 能調節的參數也不少,這次新發佈的功能就有個調節鏡頭的選項。
像什麼放大畫面、縮小畫面、上下左右移動、各種方向旋轉……都能調,就跟當導演一樣。
其他的參數還有幀數、畫面變化的幅度、視頻比例等等,也都是在提示詞後面加個 “ - ” 說要求。
解完參數,就能直接開玩,世超先試試圖片生成視頻的功能,丟給它一張正在下雪的圖,大概等個一分鐘左右就好。
效果看起來也還不錯,不過 Pika 這個體驗版一次最多就隻有 3 秒,有點意猶未盡的感覺。
接下來再丟個整個上次用 Runway 試過的經典梗圖,雖說 Pika 的畫面是糊點,但就動作連貫性來說,它還是略勝一籌,起碼沒當街表演換裝,而且走路的節奏也很正常……
Pika ( 上 )和 Runway ( 下 )效果對比
不過也有翻車的時候,還是上次試過的一個案例,讓下面這位長發美女的頭發飄逸起來, Runway 效果還算不錯。
但 Pika 這邊就不太對勁,她頭發不飄起來我都還不知道裡面竟然還能藏個人頭,好好的一張圖立馬變鬼片……
Pika ( 上 )和 Runway ( 下 )效果對比
世超還在提示詞後面加個 “ -camera rotate clockwise ” ,試試 Pika 這次新出的 “ 鏡頭控制 ” 參數,讓畫面順時針旋轉起來。
乍一看還算不錯,但遺憾的是這些蝴蝶沒在鏡頭旋轉的時候撲騰兩下,而且方向還轉錯。
試完圖片生成視頻的功能,咱們又試下文字生成視頻。
世超發現,對於一些小幅度動作或者簡單動作的要求, Pika 生成的效果還不錯。
比如讓 Pika 生成個 1 :1 畫面的貓貓睡覺視頻,算是中規中矩。
但隻要涉及到要四肢協調運動,或者手部細節時,那可是槽點滿滿。
讓一個 3D 版的馬裡奧跑個步,這手腳頻率不同步就算,但腿怎麼還換來換去,而且一個手四指,另一個手五指……
還有讓邁克 · 傑克遜跳個舞,前一秒還覺得這次有戲能成,結果後一秒突然長兩個小胳膊。
有趣的是,我還去扒扒官方演示裡的提示詞去試,結果隻能說太抽象。
馬斯克那個完全沒有演示視頻裡的效果,大傢直接看效果吧,很難評……
還有機器人走路的提示詞,演示圖是這樣的:
而咱們試出來卻是這個樣子,雖說效果還行,但完全沒演示中那味。
試太多次沒啥比較好的案例,世超又去翻翻社區裡大傢生成的視頻,還跑到官方給出的優秀案例庫看看,結果發現,沒啥好效果還真不是我個人的原因。
大傢用 Pika 生成效果好的,大部分都是畫面部分元素閃爍、或者沒啥動作幅度的視頻,隻要動作幅度大一點,缺點就全都暴露出來。
下面這個還是收在優秀案例庫裡的,小腿那邊看著也都有點奇怪……
總的來說,就單在 Discord 上的體驗來看, Pika 的效果一般,和上次在 Runway 的效果差不多,有好有壞。
不過,之後正式版 Pika 的功能還會更多,說不定到時候演示圖裡的上傳視頻,修改視頻局部的功能也都能用上。
現在回過頭來看最近幾個月, AI 生成視頻的模型幾乎都紮堆出來更新,像是 Runway 、 Stability AI 還有 Meta 等等,都發新的生成視頻的模型。
雖然目前市面上的這些 AI ,效果看起來還達不到標準視頻的水準,但隻要稍微解下 AI 生成視頻的發展,就會發現,最近的這波更新進步已經是非常大。
像前幾個月用 AI 生成的視頻時,連帶著背景都還在不斷變化,而現在,背景已經穩定多。
這還隻是短短幾個月的成果,或許再過幾個月,這波模型再來一次大更新,到時候的效果又會是另一番景象。