X射線視覺:MIT發明的增強現實頭顯使人們能夠看到隱藏的物品


麻省理工學院的研究人員發明一種增強現實頭顯,可以給人類提供X射線視覺。這項發明被稱為X-AR,它將無線傳感與計算機視覺相結合,使用戶能夠看到隱藏的物品。X-AR可以幫助用戶找到丟失的物品,並引導他們走向這些物品進行取回。這項新技術在零售、倉儲、制造、智能傢居等領域有許多應用。

MIT-Augmented-Reality-Headset.webp

增強現實頭顯結合計算機視覺和無線感知,可以自動定位隱藏在視線之外的特定物品,也許是在一個盒子裡或在一堆東西下面,然後引導用戶去取回它。

該系統利用射頻(RF)信號,它可以穿過紙板箱、塑料容器或木質隔板等普通材料,找到貼有RFID標簽的隱藏物品,這些標簽反映射頻天線發送的信號。

當佩戴者穿過房間時,頭顯會引導他們走向物品的位置,物品會在增強現實(AR)界面上顯示為一個透明的球體。一旦物品落入用戶手中,被稱為X-AR的頭顯就會驗證他們是否拿起正確的物品。

當研究人員在一個類似倉庫的環境中測試X-AR時,該頭顯可以將隱藏的物品定位到平均9.8厘米以內。它驗證用戶拾取正確物品的準確率為96%。

X-AR可以幫助電子商務倉庫的工作人員快速找到雜亂的貨架上或埋在箱子裡的物品,或者在同一倉內有許多類似物品的情況下識別出訂單的確切物品。它也可用於制造設施,幫助技術人員找到正確的零件來組裝產品。

法德爾-阿迪佈說:"我們這個項目的整個目標是建立一個增強現實系統,讓你看到看不見的東西--在盒子裡或角落裡的東西--這樣做,它可以引導你走向它們,真正讓你以以前不可能的方式看到物理世界,"他是電子工程和計算機科學系的副教授,媒體實驗室的信號動力學小組主任,也是關於X-AR論文的資深作者。

為創造具有X射線視覺的增強現實頭顯,研究人員首先必須為現有的頭顯配備一個可以與RFID標記的物品通信的天線。大多數RFID定位系統使用相隔數米的多個天線,但研究人員需要一個輕型天線,以達到足夠高的帶寬來與標簽進行通信。

該團隊采用一個簡單、輕便的環形天線,並通過漸變天線(逐漸改變其寬度)和增加縫隙進行試驗,這兩種技術都能提高帶寬。由於天線通常在戶外工作,研究人員對它進行優化,以便在連接到頭顯遮陽板上時發送和接收信號。

建立有效的天線裝置後,研究人員專註於用它來定位RFID標記的物品。

他們利用一種被稱為合成孔徑雷達(SAR)的技術,它類似於飛機對地面物體的成像方式。當用戶在房間裡移動時,X-AR用其天線從不同的有利位置進行測量,然後將這些測量結果結合起來。通過這種方式,它就像一個天線陣列,來自多個天線的測量結果被結合起來,以定位一個設備。

X-AR利用來自頭顯自我跟蹤能力的視覺數據來建立一個環境地圖,並確定其在該環境中的位置。當用戶行走時,它計算出每個位置的RFID標簽的概率。該概率在標簽的確切位置上將是最高的,因此它使用這一信息來鎖定隱藏的物體。

一旦X-AR定位物品,用戶拿起它,頭顯就需要驗證用戶是否抓住正確的物品。但現在用戶站在原地不動,頭顯的天線也沒有移動,所以它不能使用合成孔徑雷達來定位標簽。

然而,當用戶拿起物品時,RFID標簽也隨之移動。X-AR可以測量RFID標簽的運動,並利用頭顯的手部追蹤能力來定位用戶手中的物品。然後它檢查標簽是否發出正確的射頻信號,以驗證它是正確的物品。

研究人員利用頭顯的全息可視化功能,以一種簡單的方式為用戶顯示這些信息。一旦用戶戴上頭顯,他們就會使用菜單從標簽物品的數據庫中選擇一個物體。物體被定位後,它被一個透明的球體所包圍,因此用戶可以看到它在房間裡的位置。然後設備以地板上的腳步聲的形式投射出該物品的軌跡,該軌跡可以隨著用戶的行走而動態更新。

為測試X-AR,研究人員創建一個模擬倉庫,在貨架上裝滿紙箱和塑料箱,並在裡面放置有RFID標簽的物品。驗證發現,X-AR可以引導用戶走向目標物品,誤差小於10厘米--這意味著物品的位置與X-AR引導用戶的位置平均相差不到10厘米。研究人員測試的基線方法的誤差中值為25至35厘米。

他們還發現,在98.9%的情況下,它能正確驗證用戶撿到正確的物品。這意味著X-AR能夠減少98.9%的揀選錯誤。當物品還在箱子裡時,它的準確率甚至達到91.9%。

現在他們已經證明X-AR的成功,研究人員計劃探索如何使用不同的傳感方式,如WiFi、毫米波技術或太赫茲波,以增強其可視化和互動能力。他們還可以增強天線,使其射程超過3米,並將系統擴展到多個協調的頭顯上使用。

Adib的共同作者是研究助理Tara Boroushaki,她是論文的第一作者;Maisy Lam;Laura Dodds;以及前博士後Aline Eid,她現在是密歇根大學的助理教授。該研究將在USENIX網絡系統設計與實施研討會上發表。


相關推薦

2023-01-25

定制鏡頭,蘋果希望用戶佩戴AirPods以獲得與頭顯提供的視覺體驗相當的音頻體驗,盡管它將具有內置揚聲器。正如之前傳聞的那樣,頭顯將有一個外部電池組,以防止由於該設備使用的高端Mac芯片而導致用戶臉部過熱。電池的

2023-06-06

蘋果在今天的WWDC23主題演講中推出一款名為Vision Pro的增強現實頭顯產品,此舉標志著“空間計算”的開始。Vision Pro看起來像一副滑雪鏡,通過眼睛、手勢和語音控制。該頭顯有一個玻璃前面板和一個鋁制框架,包含傳感器、攝

2022-11-01

計算機視覺是一個在過去幾十年中被研究得相當多的領域,主要是因為它在建造自動駕駛汽車和其他可以像人類一樣"看"世界的工具方面有著直接和明顯的應用。然而,直到最近才看到這種水平的研究的一個

2023-03-27

這個新市場時面臨的挑戰都心知肚明。混合現實是一種將增強現實與虛擬現實相融合的技術,它目前仍處於發展初期,風險遠大於蘋果之前的新品。Mac、iPod、iPhone、Apple Watch和iPad發佈時,蘋果本質上隻是在人們已熟悉的品類中

2023-04-19

針對新產品為iPad應用做適配。新產品將融合虛擬現實和增強現實技術。消息人士透露,用戶將可以通過全新的3D界面來獲得第三方開發者的數百萬個現有應用。目前,蘋果的計劃仍處於保密階段。這其中包括優化Safari瀏覽器,以

2022-10-12

孔間距(IPD)調節范圍為55-75毫米,能讓用戶得到更好的視覺體驗並降低眼睛疲勞。(鏡頭造型給矽星人的第一感覺是看起來很像一隻熊貓……)最新的VR LCD顯示技術讓Quest Pro與 Meta Quest 2 相比,中心視圖的全視野視覺清晰度提

2023-01-30

頭顯取得成功?很難說。雖然業內人士認為,有朝一日,增強現實和虛擬現實將會催生iPhone的替代產品,但第一代頭顯卻很有可能給蘋果帶來多年未見的失敗。蘋果的首款混合現實設備可能采用Reality Pro的產品名稱,將於今年發

2022-09-05

Meta的員工正在與芯片代工廠一同工作,為目前尚未宣佈的增強現實頭顯生產訂制芯片。同月還有報道稱,Meta在生產訂制芯片的過程中遇到一些障礙,迫使其在第二代Ray-Bay智能眼鏡中使用高通芯片作為替代。Meta發言人對此表示

2022-11-14

組發佈許多招聘信息。一些招聘信息與內容制作有關,如視覺效果軟件開發人員。其他招聘信息顯然暗示某種形式的視頻服務也在開發中,可能可以實現在VR中播放的3D內容。一個列表提到3D MR環境的開發,這與Facebook的一些元宇

2022-11-18

個令人不安的發現。一名探員在對該男子的手提包進行X射線檢查時註意到藏在裡面的刀。在檢查包內物品時,無法發現該武器,因此每件物品都被逐一檢查,直到發現它藏在一臺筆記本電腦中。該男子起初說他不知道有這把刀

2023-04-03

假設的情況下可能對AR/VR硬件感興趣時說:如果你考慮到增強現實的技術本身,僅就AR/VR這一塊而言,你可以用數字世界的東西覆蓋物理世界的想法可以大大增強人們的溝通,人們的聯系。它可以使人們實現他們以前無法實現的

2023-01-18

的重點是更實惠的AR/VR頭顯,蘋果正在推遲它一直在研究的增強現實蘋果眼鏡。蘋果眼鏡的推出已被無限期推遲,該設備的工作團隊也被縮減。蘋果的第一款AR/VR頭顯最快可能在今年春天推出,但該設備在開發過程中出現多次延

2023-03-06

。她補充說,蘋果可能會優先考慮混合現實頭顯,而不是增強現實眼鏡。蘋果通常會在其他公司之後很久才開始涉足某一特定產品趨勢或功能。例如,iPhone直到2017年才推出雙鏡頭相機,而HTC在2014年就推出配備雙攝的HTC One M8手機

2023-01-12

。這個名字指的是"擴展現實",以涵蓋虛擬現實和增強現實體驗。上周末,古爾曼報道說,雖然蘋果一直致力於在本月推出頭顯,但該公司現在計劃在其傳統的春季媒體活動時間前後推出。然後,在今年晚些時候的實際產