Google推出Lumiere生成式AI 可基於文本提示創建逼真的圖像和視頻


Google剛剛推出一款新的生成式人工智能工具Lumiere,它將幫助你通過基於文本的命令創建更逼真的圖像和視頻。Lumiere的一大亮點是,它能夠制作出看起來逼真的動作,而且不會出現不連貫的情況。之所以能做到這一點,是因為該軟件能在同一時間創建所有視頻幀,而不是先實際使用關鍵幀,然後再對其進行訓練,以學習動作應該如何進行。

這聽起來可能並不令人印象深刻,但有最新的生成式人工智能工具的幫助,我們就能走得更遠,創造出令人驚嘆的作品。

Lumiere.jpg

Lumiere 還使用擴散概率模型來幫助生成圖像。這與時空 U-Net 相結合。對於那些不解的人來說,U-Net 是一種架構,它能帶來時間上的放大和縮小,以及添加到圖像中的註意力區塊。最棒的是,這種新的生成式人工智能工具可以與許多其他模型一起使用,這將有助於創建比我們之前看到的任何圖像和視頻都更加逼真的圖像和視頻。

Lumiere 可用於創建以下內容:

  • 電影膠片將圖像的單一部分制作成動畫

  • 動畫視頻中的一個物體可以被另一個物體取代

  • 風格化生成:任何創作的藝術風格都可以改變為其他風格

  • 圖像到視頻:幫助制作任何所需圖像的動畫

  • 視頻到視頻:允許用戶創建不同藝術風格的視頻

在撰寫本文時,Lumiere創建的視頻長度最長僅為 5 秒,而且還不具備創建視頻轉換和多角度攝像的功能。另外值得註意的是,如果你想試用 Lumiere,僅靠標準 GPU 是不行的。PC本身必須有強大的圖形處理能力,否則該工具根本無法運行。

訪問試用:

https://lumiere-video.github.io/


相關推薦

2024-02-20

是徹底輸給Transformer。ChatGPT故事再次重演,Sora其實站在Google的肩膀上讓我們深入扒一扒,Sora是站在哪些前人的肩膀上。簡而言之,最大創新Patch的論文,是Google發表的。Diffusion Transformer的論文,來自William Peebles和謝賽寧。此外

2024-02-16

都展示自己令人印象深刻的文字轉視頻模型,而Google的 Lumiere 也將成為 OpenAI 在這一領域的主要競爭對手之一。與 Sora 類似,Lumiere 也為用戶提供文字轉換視頻的工具,還能讓用戶通過靜態圖像創建視頻。Sora 目前隻對"紅隊&qu

2024-02-18

時代?Sora簡直太炸裂”。“這就是電影制作的未來”!Google的Gemini Pro 1.5還沒出幾個小時的風頭,天一亮,全世界的聚光燈就集中在OpenAI的Sora身上。Sora一出,眾視頻模型臣服。就在幾小時後,OpenAI Sora的技術報告也發佈!其中

2024-02-18

時代?Sora簡直太炸裂”。“這就是電影制作的未來”!Google的Gemini Pro 1.5還沒出幾個小時的風頭,天一亮,全世界的聚光燈就集中在OpenAI的Sora身上。Sora一出,眾視頻模型臣服。就在幾小時後,OpenAI Sora的技術報告也發佈!其中

2024-02-17

時代?Sora簡直太炸裂”。“這就是電影制作的未來”!Google的Gemini Pro 1.5還沒出幾個小時的風頭,天一亮,全世界的聚光燈就集中在OpenAI的Sora身上。Sora一出,眾視頻模型臣服。就在幾小時後,OpenAI Sora的技術報告也發佈!其中

2024-02-17

時代?Sora簡直太炸裂”。“這就是電影制作的未來”!Google的Gemini Pro 1.5還沒出幾個小時的風頭,天一亮,全世界的聚光燈就集中在OpenAI的Sora身上。Sora一出,眾視頻模型臣服。就在幾小時後,OpenAI Sora的技術報告也發佈!其中

2023-03-23

人工智能勢不可擋。本周,包括微軟、Google、英偉達、Adobe在內的全球多傢科技巨頭公司都不約而同地發佈或開放生成式AI新技術,其中微軟和Adobe發佈與圖像生成相關的新應用。然而,AI不僅可以幫助人類,也會被利用來戲弄人

2024-04-23

p)中添加基於FireflyAI的圖像創建功能。今天,Adobe宣佈將推出新版Photoshop,其中不僅包括一些新的AI圖像編輯功能和改進,還包括新的FireflyImage3基礎模型,用於根據文本提示制作基於AI的內容。Adobe 在通過電子郵件發送的新聞稿

2022-07-15

目前熱門的算法過程,OpenAI的Craiyon(以前的DALL-Emini)和Google的ImagenAI釋放出由人類和計算機想象力合成的奇妙怪異的程序生成藝術的浪潮。本周二,Meta透露,它也開發一個AI圖像生成引擎,它希望這將有助於在Metaverse中建立沉

2023-11-07

人工智能政策選擇之一。Alphabet旗下最大的數字廣告公司Google上周宣佈推出類似的圖像定制生成人工智能廣告工具。Google的一位發言人告訴路透社,公司計劃通過禁止將一系列"政治關鍵詞"用作提示語,將政治因素排除在

2023-05-11

5月10日周三舉行的Google年度開發者大會GoogleI/O2023上,Google亮出人工智能(AI)領域開發的最新成果。和此前媒體曝光的消息一致,本次Google正式發佈新的通用大語言模型PaLM2。PaLM2是驅動AI機器人Bard的模型的升級版,可以生成多

2022-08-15

頻的背景--對創作者來說可能是一個非常有用的工具。與Google的Imagen、OpenAI的DALL-E 2或Midjourney的同名軟件等最先進的文本到圖像模型相比,TikTok系統的輸出相當基本。它隻創建相當抽象的圖像;TikTok建議的提示如"海洋中的宇

2024-02-16

還是人類第一次見到ChatGPT的時候。以及,Sora之前幾小時Google剛剛推出它最強的LLMGemini1.5,並試圖宣稱自己終於殺死GPT-4,然而,顯然現在沒人關註。因為看完Sora你可能會發現,OpenAI自己可能要用它先殺死GPT-4。每個人都可以創

2024-02-18

的模型進入該領域,例如字節跳動的MagicVideo-V2和谷歌的Lumiere。谷歌的Lumiere演示片段。來源:Google Research雖然谷歌和字節跳動發佈的演示視頻都展現出質量的飛躍,但它們都沒能脫離現有文生視頻的一般模式,即輸出單一的、通