Google剛剛推出一款新的生成式人工智能工具Lumiere,它將幫助你通過基於文本的命令創建更逼真的圖像和視頻。Lumiere的一大亮點是,它能夠制作出看起來逼真的動作,而且不會出現不連貫的情況。之所以能做到這一點,是因為該軟件能在同一時間創建所有視頻幀,而不是先實際使用關鍵幀,然後再對其進行訓練,以學習動作應該如何進行。
這聽起來可能並不令人印象深刻,但有最新的生成式人工智能工具的幫助,我們就能走得更遠,創造出令人驚嘆的作品。
Lumiere 還使用擴散概率模型來幫助生成圖像。這與時空 U-Net 相結合。對於那些不解的人來說,U-Net 是一種架構,它能帶來時間上的放大和縮小,以及添加到圖像中的註意力區塊。最棒的是,這種新的生成式人工智能工具可以與許多其他模型一起使用,這將有助於創建比我們之前看到的任何圖像和視頻都更加逼真的圖像和視頻。
Lumiere 可用於創建以下內容:
電影膠片將圖像的單一部分制作成動畫
動畫視頻中的一個物體可以被另一個物體取代
風格化生成:任何創作的藝術風格都可以改變為其他風格
圖像到視頻:幫助制作任何所需圖像的動畫
視頻到視頻:允許用戶創建不同藝術風格的視頻
在撰寫本文時,Lumiere創建的視頻長度最長僅為 5 秒,而且還不具備創建視頻轉換和多角度攝像的功能。另外值得註意的是,如果你想試用 Lumiere,僅靠標準 GPU 是不行的。PC本身必須有強大的圖形處理能力,否則該工具根本無法運行。
訪問試用:
https://lumiere-video.github.io/