現階段的虛擬現實(VR)頭戴式裝置和手持式控制器,隻能對頭部和手部動作進行追蹤。即使用上所謂的逆運動學(IK)算法,也隻能相對良好地預估肘部和軀幹動作、而很少對腿部進行校正。正因如此,許多VR解決方案幹脆隻顯示虛擬化身的上半身。
視頻截圖(via VR Trailers & Clips)
即使 SteamVR 和 HTC Vive 提供額外的追蹤解決方案,但身體追蹤所需的三套裝置的成本也需要 350 美元以上。
好消息是,在一篇討論 QuestSim 的新論文中(PDF),Meta 研究人員展示一套由神經網絡驅動的系統。
其特點是能夠借助來自 Quest 2 頭顯 + 控制器的追蹤數據、更合理地預估佩戴者的全身姿態,而無需額外的追蹤器 / 外部傳感器。
Meta Research Quest 2 Body Tracking Without Extra Trackers(via)
生成的 VR 化身動畫,與用戶的真實動作相當接近。Meta 研究人員甚至聲稱,由此產生的準確性和抖動、優於穿戴式的 IMU 跟蹤器。
比如 Pico 4 宣佈的 Pico Fitness Band,就是僅配備加速度計和陀螺儀的裝置 —— 盡管該公司也聲稱正在研發自己的機器學習方法。
不過這裡有一個問題 —— 如視頻所示,該系統會渲染出一副合理的全身姿勢,但它不一定精確還原用戶的實際姿態。
正因如此,QuestSim 僅適用於參考其他人的 VR 化身、而不是拿來時刻俯視自己的身姿,此外系統的延遲多達 160 ms(72 Hz 下超過 11 幀)。
即便如此,能夠在 VR 交互中看到其他人的全身像,怎麼也比現階段的半截人像要好得多。剩下的問題是 —— 這套(或類似的)系統,是否、以及何時會放到 Quest 2 上?
Meta 首席技術官 Andrew Bosworth 似乎在上周的 Ask Me Anythinig 互動問答活動期間暗示這一點,當被問及 Instagram 中的腿部追蹤時,他答道:
我們確實經常因為無腿化身而被大傢給調侃,但我認為大傢的吐槽是相當公正和有趣的。
畢竟給個人的虛擬化身配上與現實不匹配的腿,可能會讓用戶感到非常不安。
但若將腿安到其他人的虛擬化身上,就沒有這方面的困擾。
感興趣的朋友,可留意於兩周後舉辦的 Meta Connect 年度 AR / VR 活動期間的詳細公告。