AI可以生成手語手勢視頻!SignLLM通過文字描述即可生成手語視頻


5月28日 消息:SignLLM是一個創新的多語言手語模型,它具有通過文字描述生成手語視頻的能力。這項技術對於聽力障礙者來說是一個巨大的進步,因為它能夠提供一種新的溝通方式。

以下是SignLLM的一些關鍵特點:

  • 文本到手語視頻的轉換:SignLLM模型能夠將輸入的文本或提示轉化為相應的手語手勢視頻,這使得信息的傳達更加直觀和易於理解。

  • 支持多種手語:該模型能夠生成包括美國手語(ASL)、德國手語(GSL)在內的八種不同手語,這表明它具有廣泛的適用性和多樣性。

  • 首創多語言手語數據集:SignLLM項目引入世界上首個多語言手語數據集,名為Prompt2Sign。這個數據集對於訓練和開發能夠理解和生成手語的模型至關重要。

  • 基於數據集的模型開發:基於Prompt2Sign數據集,開發多種生成手語的模型,這表明SignLLM項目在手語生成技術方面取得顯著的進展。

視頻來自官方項目頁

SignLLM模型的開發不僅為聽力障礙者提供一個重要的溝通工具,同時也推動人工智能在語言理解和生成領域的研究。通過這種模型,可以更好地服務於多元文化和語言社區,促進信息的無障礙交流。

項目地址:https://top.aibase.com/tool/signllm


相關推薦

2023-03-03

,vivo首次對外發佈“手語翻譯官”功能——通過該APP,可以將健聽人士的語音和文字,實時轉變成為手語,還可以用文字、語音播報聽障人士的手語動作。在“手語翻譯官”的幫助下,聽障人群不僅可以與傢人、朋友更順暢地

2024-09-09

近日,一段大猩猩與遊客進行“手語”交流的視頻在網上引起廣泛關註。在這段視頻中,一隻大猩猩在動物園內與遊客互動,隔著玻璃向遊客比劃出“謝謝,吃不”的動作,顯示出它似乎在拒絕遊客提供的食物。這一幕讓在場的

2022-10-24

束時,會有語音提示通話即將結束,如果想要繼續通話,可以用IC卡付費,但如果是打119、110等緊急報警號碼,是不限時長的。02便捷手機充電公話亭有同時支持有線、無線手機充電的設施。03一鍵叫車乘客可通過智能按鈕掃描刷

2022-12-26

次升級,以國傢大劇院首位虛擬員工身份亮相!未來觀眾可以在短視頻、直播間、場所導覽、甚至是 VR 空間裡見到這隻可鹽可甜的Art 鵝”。除生動的外形,未來百度智能雲曦靈團隊還將為它賦予有趣”的靈魂。基於百度智能對

2024-03-27

加文字。其實就像Midjourney和ChatGPT一樣,熟練掌握提示就可以做到。所以,其實視頻不能算完全是AI。除AI之外,制作者還使用DeepFake和lipsync。嚴謹的說法是,視頻首先使用演員來預錄制,然後通過AI做同步的配音。也就是說,這

2022-10-08

畫面的那種。不僅能無中生畫筆,按著馬頭喝水也不是不可以。同樣是一句“馬兒喝水”,這隻AI就拋出這樣的畫面:好傢夥,這是以後拍視頻真能全靠一張嘴的節奏啊……不錯,那廂一句話讓AI畫畫的Text to Image正搞得風生水起

2023-11-13

目(Earth Species Project,ESP)開源首個動物發聲基準BEANS,可以測量機器學習算法在生物聲學數據上的性能;還開發首個用於動物發聲的基礎模型AVES,可用於如信號檢測和分類等各種任務。隨著生成式AI技術的進步,或許某天我們

2022-10-07

人員表示其中用到的一些優化技巧不光對視頻生成有效,可以泛化至一般擴散模型。具體來說,Imagen Video是一系列模型的集合。語言模型部分是Google自傢的T5-XXL,訓練好後凍結住文本編碼器部分。與負責從文本特征映射到圖像特

2024-02-18

大腦裡不需要3D建模,因為人類對世界有基本認知。人類可以隨意想象出自己要做的事,可以控制自己所想。2、Sora在學習的過程中,用很多視頻、電影的內容來作為訓練輸入。當輸入一些畫面,不僅要解讀出畫面的元素,還要

2023-07-07

t(智慧助手)和Insight(知識洞察)三個戰略方向上發展。用戶可以利用智能文檔生成新聞稿、周報、招聘啟事等各種文本內容,並可以對AI生成的內容進行縮寫、擴寫、翻譯和切換文風等操作。此外,用戶還可以快速歸納總結多個文

2024-05-01

上萬的成本。”黃鴻波介紹道,有 Sora 技術後,影視公司可以將那些特效制作成本高昂或無法通過演員實際拍攝的場景,通過 Sora 或類似的視頻生成模型來展現。“Sora 不僅對影視行業有益,它對傳統廣告制作、遊戲和流媒體方

2024-06-19

數字人的核心是“人”,把數字人當成你的視頻助手。他可以出現在各個社交平臺上,出鏡拍攝視頻的工作可以交給他,他可以擁有你的形象、你的聲音,與你的意向客戶進行互動,向外界傳播你的所思所想,這位助手有無限的

2023-03-22

步提供更為精細的“AI P圖”功能。在這款產品中,用戶可以用“橡皮擦工具”擦掉模特身上的衣服,並輸入“紅馬甲”,隨即就能給模特換裝。(來源:Adobe)而且這款AI還能調整模特臉部的細節,包括年齡、笑容幅度、睜眼幅

2024-02-18

高清視頻。有網友表示,“Sora雖然有一些不完美之處(可以檢測出來),例如從物理效果可以看出它是人工合成的。但是,它將會革命性地改變許多行業。想象一下可以生成動態的、個性化的廣告視頻進行精準定位,這將是一