快科技4月28日消息,在2024中關村論壇年會未來人工智能先鋒論壇上,生數科技聯合清華大學發佈中國首個長時長、高一致性、高動態性視頻大模型Vidu。
這也是自Sora發佈之後全球率先取得重大突破的視頻大模型,性能全面對標國際頂尖水平,還在加速迭代提升中。
據解,該模型采用團隊原創的Diffusion與Transformer融合的架構U-ViT,支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內容。
除在時長方面突破,Vidu在視頻效果方面也實現顯著提升,主要包括:
能夠生成細節復雜的場景,且符合真實的物理規律;
能夠生成真實世界不存在的虛構畫面,創造出具有深度和復雜性的超現實主義內容;
能夠生成復雜的動態鏡頭,不再局限於簡單的推、拉、移等固定鏡頭,而是能夠圍繞統一主體在一段畫面裡就實現遠景、近景、中景、特寫等不同鏡頭的切換;
在16秒的時長上保持連貫流暢,隨著鏡頭的移動,人物和場景在時間、空間中能夠保持一致;
能夠生成特有的中國元素,例如熊貓、龍等。