說起VR（虛擬現實）領域的前沿研究進展，全球最火爆的VR設備供應商Meta，絕對是引領市場風向的存在。Meta的CEO馬克·紮克伯格最近在訪談中透露Meta在元宇宙領域的最新佈局。Meta將於10月推出新的VR頭顯——MetaQuestPro。據悉，該頭顯的最大亮點是具有面部和眼動跟蹤功能，可以讓虛擬數字化身進行眼神交流。
硬件分析師Brad Lynch認為，Meta Quest Pro將采用經過改進的XR2處理器，較現有的XR2處理器同比性能提升30%。分析師郭明錤預測，Quest Pro將使用單眼2160×2160分辨率的面板。
在訪談中，紮克伯格還談到元宇宙社交，他認為，從文字、圖像、再到視頻，社交媒體的載體正朝著更大的信息容量演變，而下一個能比視頻承載更多信息量的載體，就在VR領域。
此前，紮克伯格親自下場推薦自傢的社交平臺Horizon Worlds，並發表一張VR自拍。雖然照片遭到全網群嘲，不過紮克伯格還是為Horizon Worlds帶起一波全網熱度。
▲紮克伯格的VR自拍
近來，Meta在元宇宙領域的動作頻繁。今年6月，Meta的VR部門Reality Labs推出四款VR頭顯原型機，分別展示未來VR設備的4個關鍵技術演進方向：高分辨率、高動態范圍（HDR）、輕薄外形、降低暈眩感的變焦技術優化。在8月舉辦的SIGGRAPH大會中，Meta的顯示系統開發負責人Douglas Lanman發表演講，為我們介紹攻破VR技術瓶頸的十大挑戰。
在SIGGRAPH 2022大會上，外媒Auganix的記者Sam Sprigg特別體驗主打HDR功能的VR原型機Starburst。Oculus Quest 2是Meta迄今推出的VR一體機巔峰之作，去年出貨量突破千萬臺，是史上最暢銷的VR產品，而Starburst的峰值亮度足足有Quest 2的200倍。
那麼，Meta的元宇宙佈局究竟是怎樣的？Meta的原型機體驗起來到底如何？Meta的百億研發都投入到哪裡？讓我們帶著這些疑問，一起來看看Meta在VR領域上的最新發展。
一、為探索四大研究領域，Meta發佈四款原型機
今年6月，Meta Reality Labs公佈四款不同技術領域的VR頭顯原型機。
Butterscotch探索分辨率技術、Starburst探索HDR技術、Holocake 2探索VR頭顯的輕薄外形打造技術、Half Dome 系列探索變焦技術。這四款原型機分別代表Meta在四個VR頭顯研發領域取得的最新進展。
此前，Meta的CEO馬克·紮克伯格曾提出視覺圖靈測試（Visual Turing test）的概念。簡單來說，視覺圖靈測試的考核標準就是虛擬圖像能否以假亂真，讓人眼無法分辨出虛擬圖像與真實圖像。紮克伯格表示，視覺圖靈測試有兩個重點，即照片級真實感和臨場感。
▲不同VR頭顯分辨率對比
而讓圖像更加逼真的方法之一，就是盡可能地提升圖像的分辨率。為此，Meta研發原型機Butterscotch，其特點就是具有“視網膜級別”的分辨率。
Butterscotch的PPD達到55，很接近每1度角60像素的“視網膜分辨率”水平，其分辨率是Quest 2的2.5倍，Meta Reality Labs科研部門DSR團隊光學科學傢Yang Zhao說，Butterscotch的定制透鏡模組中，有兩個高精度玻璃鏡片，鏡片的表面質量更高，但也更重。此外，還有一個可衍射光線的特制透鏡。玻璃透鏡與衍射透鏡組合後，即可呈現清晰的圖像。
▲Starburst原型機
Starburst原型機的特點是具備高HDR（高動態范圍成像）功能，其背光的最大亮度可達20000nit，是現有VR頭顯Quest 2的200倍。Meta Reality Labs團隊開發Starburst的目的是在虛擬環境中還原完整的室內照明，並探索能讓用戶實現最佳沉浸體驗的理想亮度。
Starburst采用COB LED（常用於車燈上的LED）取代原來的LCD屏幕背光，這在很大程度上提高LCD的背光亮度，但也產生更多的熱量。因此，Starburst還配備風扇和3D打印散熱底架。但是設備整體比較笨重，且耗電嚴重。在四項技術中，這項技術離上市的距離最遠。
▲Holocake 2原型機
Holocake 2原型機的特點是輕薄，可以提升VR頭顯的佩戴舒適度。Holocake 2是一款PC VR設備，雖然它的外形輕薄，但是它需要額外的計算和電池組件空間，采取分體式設計。
▲Half Dome發展史
Half Dome是基於Oculus Rift改造的VR頭顯原型機，其特點是采用可變焦透鏡。從第三代開始，Half Dome的透鏡從機械系統升級為電子變焦系統，減少機械噪音和震動。Half Dome 3有32個可切換的焦點平面。據體驗者透露，通過Half Dome的動態變焦玩《Lucky’s Tale》等遊戲時，視野裡的圖像焦點可以根據手柄移動的距離而變化。
二、Starburst峰值亮度為20000nit，是Quest 2的200倍
在本月舉辦的計算機圖形頂會SIGGRAPH 2022上，外媒Auganix的記者Sam Sprigg特別體驗主打HDR功能的VR原型機Starburst。Oculus Quest 2是Meta迄今推出的VR一體機巔峰之作，去年出貨量突破千萬臺，是史上最暢銷的VR產品，而Starburst的峰值亮度足足有Quest 2的200倍。
在展會現場，兩臺Starburst被掛在一個框架上供參與者體驗。Starburst的重量約為2.5公斤，這個數字對於頭戴式設備而言，有點太大。Sam Sprigg說：“它太重，你無法把它戴在頭上，隻能把它舉到臉前。”並且，Starburst需要大量電力支持其高亮度顯示，所以它被固定在框架上。
▲兩臺Starburst被懸掛在一個架子上
Starburst的亮度是用“nit”來衡量的，Sam Sprigg稱，室內環境的亮度超過10000nit，而Starburst的峰值亮度為20000nit。而Meta曾表示，Quest 2的峰值亮度約為100nit，Starburst的峰值亮度是Quest 2的200倍。
而20000nit的峰值也可以在一定程度上解釋Starburst的“笨重”。高亮度也會產生高熱量，為散熱，Starburst配備大型的鋁散熱器。Meta的顯示系統研究團隊（Display Systems Research，DSR）的研究科學傢Nathan Matsuda說，鋁散熱器至少占設備重量的50%。此外，設備頂部有一個大型風扇，可以吸收散熱器中的熱量。
▲Starburst由36個零部件組成
不過，Starburst的分辨率較低，約為2560×1620像素，比Quest 2略低。不過，這也可以讓人接受。因為Starburst主要展示HDR的解決方案，至於高分辨率，那是Butterscotch該探索的方向。
Starburst同時使用彩色和單色LCD（液晶顯示器）。Matsuda表示，這是因為單個LCD在低光下的對比度較差，而兩個彩色LCD又會吸收大部分光線，降低顯示效果。因此，將彩色和單色LCD串聯使用，就可以獲得最佳的顯示效果。
為專註探索HDR技術，Starburst在畫面的刷新率和視野方面做出妥協。不過，Sam Sprigg稱，這種妥協並沒有影響Starburst在HDR和亮度方面的表現。
▲Sam Sprigg“戴著”Starburst
Starburst演示的第一部分就是在虛擬空間設置一個光源，再放置一些球體來顯示反射光源。Sam Sprigg稱，在10000nit顯示范圍下，這與Quest 2的體驗相同，沒有什麼特別的地方。
但是，當亮度上升到10000nit時，他能感受到更明顯的亮度。展示10000nit光線時，演示切換到海洋日落景觀。太陽穿過雲層，光線打在海洋的波浪上，水面波光粼粼。然後，光線上升到峰值20000nit，畫面中有一個虛擬的太陽。Sam Sprigg稱，他覺得自己仿佛看到真實的太陽，因為光線實在太亮。最後，太陽落山時，海浪發出微弱的反光。這個演示令人印象深刻。
▲放置球體測試光源
Sam Sprigg稱，他在Starburst中直視20000nit的光源可能跟盯著60瓦燈泡的感覺差不多。但是，VR中的光源距離他的眼睛隻有幾英寸，這個距離很近。他認為，這種亮度顯示可以為用戶帶來更加真實且富有沉浸感的體驗。
但是，Sam Sprigg也指出，功率、熱量、外形是限制VR頭顯發展HDR技術的重要阻礙。他認為，我們可能還需要很長的時間，才能等到能夠輸出20000nit的成熟上市產品。
三、困難重重，VR頭顯面臨十大技術挑戰
目前Meta雖然在VR頭顯上已經取得一些技術進展，但仍然遇到很多目前無法解決的技術瓶頸。在SIGGRAPH大會的演講中，Meta顯示系統開發負責人Douglas Lanman為我們提供一些參考方向——要想將VR體驗提升到新的高度，目前有十大挑戰亟待解決！
誰能率先攻破這些挑戰，誰就有望在愈演愈烈的元宇宙硬件入口搶奪賽中，爭得先機。
1、分辨率：Meta開發Butterscotch原型機，致力提高分辨率
為提高用戶的沉浸感，讓虛擬世界看起來更加逼真、清晰，VR頭顯必須擁有更高的分辨率。目前的VR頭顯分辨率離人類視覺水平還非常遙遠。
Meta表示，他們的初步目標是實現單眼8K分辨率和60PPD（像素密度）。但是目前Quest 2隻達到單眼2K分辨率和20PPD，距離這一目標還有較遠距離。
為提高VR頭顯的分辨率，Meta開發專註探索分辨率的Butterscotch原型機。在這方面，高分辨率顯示器的開發和生產並不是難點，難點在於如何為高分辨率顯示器配備相應的計算能力。Lanman指出，註視點渲染（Foveated Rendering）和雲流送（Cloud streaming）兩種技術或許有助於提升計算能力，但是這兩種技術本身的研發難度也很大。
▲上面是普通模糊處理的VR效果，下面是註視點渲染技術模糊效果
2、視場角：VR頭顯視場角比人眼小一倍
人類的平均水平視場角為200度，而目前大多數商用VR頭顯的水平視場角為100度。這意味著VR頭顯的視野范圍比我們在真實環境中看到的更窄。此外，在垂直視場角方面，VR頭顯也有改進的餘地。
視野越寬，VR頭顯呈現的像素也越多。這就要求更高的功率和更多的廢熱（waste heat）。此外，視線范圍變寬後，視線范圍邊緣的圖像容易失真。因此，更寬的視線范圍需要更好的透鏡技術支持。並且，研究人員還要確保鏡頭和顯示器的構建方式不會增加VR頭顯的外形尺寸。
3、人體工程學（Ergonomics）：VR頭顯佩戴舒適度不夠
目前大多數VR頭顯都會略顯“笨重”，例如Quest 2的重量超過500克，其設備厚度（從面部突出的距離）達8厘米。這樣的設備顯然不會為用戶帶來很好的佩戴體驗。理想的VR設備應該更輕薄，能讓用戶舒適地長時間佩戴。
Pancake透鏡和全息透鏡或許會對減小頭顯體積有所幫助，目前Meta的Holocake 2原型機正在往此方向探索，但其尚未發展到大規模生產的水平。
▲“太陽鏡”是Holocake 1原型機，透明的是2016年的Oculus Rift
4、視力矯正顯示屏：還未找到成本低廉的視力矯正顯示屏
更好的VR頭顯應該具備視覺矯正功能，讓用戶不必在VR頭顯下還帶著常規眼鏡。這個問題可以通過特殊的鏡頭附件解決，但這不是理想的解決方案。最佳方案是頭顯的顯示器自帶視覺矯正功能，這樣頭顯設計師就不再需要考慮適配眼鏡等問題。
但挑戰就在於，如何才能找到一種制造成本低廉，且不會額外增加頭顯重量的解決方式呢？
▲具有視力矯正功能的鏡頭附件已經存在，但它們並不是理想的解決方案
5、變焦：Meta原型機Half Dome可實現人眼變焦
在自然環境中，為看清不同距離的畫面，人眼可以自然變焦。但在VR頭顯中，因為人眼與屏幕之間的距離沒有改變，所以人眼無法變焦，也無法看清遠近景物之間的差別。這其中存在視覺輻輳調節沖突（vergence-accommodation-conflict）問題。所以有時用戶會感到眼睛疲勞，甚至出現頭痛和嘔吐現象。
為解決這個問題，Meta的研究人員開發一系列支持“漸進式視覺”（progressive vision）的原型機Half Dome。Half Dome可以模擬不同的焦點平面，呈現出不同的模糊程度，從而幫助人眼在虛擬世界裡調整焦距。
▲瞳孔會隨著物體距離變化
6、眼動追蹤：難以適配所有人的眼部情況
眼動跟蹤是虛擬現實中的一項關鍵技術。它是眾多其他重要VR技術的基礎，如變焦、畸變校正等。通過這項技術，用戶可以在虛擬世界中實現與其他用戶的眼神交流，擁有更加真實的社交體驗。
但問題在於，每個人都有不同的瞳孔形狀、每個人眼瞼和睫毛的生長情況也不同，所以目前眼動追蹤技術還無法很好地適配所有用戶。因此，Lanman團隊將廣泛收集更多的用戶數據，以此升級眼動追蹤技術技術，努力讓它與更多人適配。
▲瞳孔的形狀因人而異，這對眼動追蹤技術來說是一個挑戰
7、畸變校正：Meta研發失真模擬器，加快算法迭代速度
瞳孔的運動會引起圖像的失真，進而降低用戶的沉浸感，這種現象在配合變焦技術使用時尤其明顯。為開發校正算法，研究人員必須在實物頭顯上進行調整測試，但生產頭顯可能會耗費數周甚至數月，這大大拖延算法的迭代時間。
為解決這個問題，Meta研究團隊開發一種失真模擬器（distortion simulator）。有這種模擬器，無需生產測試頭顯和特殊鏡頭，研究人員就能測試校正算法。
▲紅色光線未校正，藍色光線是校正後的結果
8、高動態范圍（HDR）：Starburst原型機峰值亮度為20000nit
物理對象和環境的亮度遠遠高於VR頭顯，為解決這個問題，Meta創造Starburst原型機。Starburst的亮度峰值為20000nit，是現存Quest 2的200倍。
Starburst可以更真實地模擬封閉空間和夜晚的照明狀況，讓虛擬環境看起來更加真實。不過，目前Starburst很重，並且十分耗能。
Meta認為，HDR對視覺真實感的貢獻要大於分辨率和變焦，但這項技術距離實際應用最為遙遠。
▲Starburst原型機特寫
9、視覺逼真度（Visual realism）：透視（Passthrough）技術尚不成熟
更好的VR頭顯應該還能讓VR用戶與現實世界保持互動。VR頭顯可以記錄真實環境信息並在虛擬現實中顯示為視頻圖像。這種稱為“透視”（Passthrough）的技術已經在商用VR頭顯中實現，但其質量很差。例如，Quest 2提供一種黑白相間的透視模式，而Meta的即將推出的高端VR頭顯“Quest Pro”旨在追求更高的分辨率和彩色透視功能。
然而，VR頭顯尚未實現物理環境的完美重建。透視技術捕捉到的畫面視角在空間上與眼睛存在偏差，用戶在長時間使用時可能會感到不適。所以，Meta正在研究人工智能輔助的視線合成，該技術能實時生成視角正確的視點，並具有高視覺保真度。
此外，Meta還在研究一種“反向透視”（Reverse Passthrough）功能，該功能可以讓現實用戶看到VR用戶的眼鏡和臉部，進而進行眼神交流。但是目前這項技術在視覺上不協調、不自然，還遠未為市場做好準備。
▲左邊是一個Oculus Rift，它擋住VR用戶的視線，右側是早期的反向“透視”原型機
10、面部重建：Meta開展“虛擬化身”項目研究
Meta希望未來人們在虛擬環境中見面就像在現實中一樣真實。為此，Meta正在展開名為虛擬化身（Codec Avatars）的研究項目，該項目致力於為人們在虛擬環境中創建3D數字化身。
目前，VR頭顯可以實時讀取VR用戶的面部表情，並將其轉移到虛擬現實中。據悉，即將推出的Quest Pro或將成為Meta第一款提供面部跟蹤（face-tracking）的設備。
▲Quest Pro可以識別面部表情並將其傳輸到VR設備上
結語：Meta的VR技術已有突破，但仍需繼續攻克技術難題
Lanman在SIGGRAPH 2022上提出目前VR頭顯面臨的十大挑戰，我們可以從中看到目前Meta取得的進展和尚未解決的問題。Meta發佈四款原型機，目的是解決VR頭顯在分辨率、變焦、輕薄外形、HDR四個方面的問題。這四款原型機各有所長，在各自領域獲得初步的技術進展。此外，Meta開展虛擬化身項目助力VR頭顯的面部重建功能、開發失真模擬器加速算法迭代。
這些原型機展現現在Meta在VR單項技術領域能達到的最高水準，但這些技術遠遠不足以打造出一個成熟的VR頭顯。目前仍存在一些Meta暫時無法攻克的技術問題。例如VR頭顯的視場角比人眼更窄、VR頭顯佩戴的舒適度不夠、VR頭顯還未配備視力矯正功能、VR頭顯的眼動追蹤技術不能適配所有人、VR頭顯的“透視”技術尚不成熟等等。
細數目前Meta在VR頭顯上的探索，我們可以發現，Meta已經在VR頭顯探索的路上走很長的一段距離。但是，Meta離這條路的終點還很遠。目前，VR頭顯相關的各項技術都在積極開發中，但這些技術還遠未成熟，離上市商用還有一段距離。從這個角度來看，VR的爆發潮還很遠。