隨著GeForceRTX40系列顯卡的發佈,發展到第三代的深度學習超級采樣(DLSS3)功能,也帶來一項“AI幀生成”的定義特性。TechPowerUp指出,AdaLovelaceGPU能夠預測交給GPU去渲染的下一幀,並在不涉及任何圖形渲染管道的情況下生成幀。有趣的是,英偉達還將這一概念運用到視頻編碼上,以借助該“魔法”提升視頻的幀速率。
(來自:Nvidia Technical Blog)
據悉,Ada Lovelace GPU 的光流加速器(NVOFA)組件,可對視頻應用和圖形渲染套用相同的光流(Optical Flow)邏輯。
在預測下一幀的同時,GPU 還可通過 AI 生成該幀,來提升畫面的流暢度 —— 英偉達稱之為“引擎輔助幀率轉換”(FRUC)。
此前我們有在一些電視機(以及 AMD 顯卡驅動)上見到過其它形式的“提升流暢度”解決方案,但這裡 NVENC 還可比較視頻中的兩個真實幀、確定運動矢量、並設置光流階段,以確保生成幀的準確性。
最後,英偉達將以庫(Library)的形式來發佈 FRUC,以幫助它更好地集成於內容創建和媒體消費類應用程序中。