Meta公司已經開源一個人工智能項目,讓任何人都能把他們的塗鴉變得更有生機。該公司希望通過將"AnimatedDrawings"作為一個開源項目提供給其他開發者,他們將能夠創造出新的、更豐富的體驗。
基礎人工智能研究(FAIR)團隊最初在2021年發佈該工具的網絡版本。它隻需要用戶上傳一張類似人類的單一角色的圖畫,或者選擇一個演示人物。如果你使用自己的塗鴉,你會看到一個同意書,詢問Meta是否可以使用你的畫來幫助訓練其模型,不需要提供同意也可以繼續使用這個工具。
接下來,上傳者需要手動調整一個捕捉框的大小,使之與原作緊緊相貼,界面中提供筆和橡皮擦來調整圖紙,然後再調整關節的位置。完成這一切後,就可以看到草圖的動畫版本。你可以從四類預設的動畫中挑選:舞蹈、搞笑、跳躍和行走。
動畫圖畫利用物體檢測模型、姿勢估計模型和基於圖像處理的分割方法來捕捉數字版本的圖畫。然後,它使用傳統的計算機圖形技術對圖像進行變形和制作動畫。
在演示上線後的幾個月內,用戶已經授權Meta公司使用160多萬張圖片用於培訓。一些人上傳公司標志、動漫人物、魚和毛絨動物的圖片,盡管該工具規定隻有人類形象可以使用。
除要求提供包括聲音效果和文本覆蓋在內的更深入的工具集外,人們上傳到該工具的一系列圖像表明,人們對更廣泛的繪畫到動畫的體驗有廣泛的興趣。這在一定程度上帶動Meta公司將該項目與大約180000張圖紙的數據集進行開源。Meta在一篇博文中寫道:"通過將模型和代碼作為開放源碼發佈,該項目為開發者提供一個起點,使他們能夠建立和擴展該項目,促進開放源碼社區內的創新和協作文化。"
解更多:
https://github.com/facebookresearch/AnimatedDrawings