康奈爾大學的工程師們開發一種新的可穿戴設備,可以通過聲納監測一個人的面部表情,並在數字頭像上重現它們。將攝像頭從方程中移除可以緩解隱私問題。
該團隊稱該設備為EarIO,由一個帶有麥克風的耳機和兩側的揚聲器組成,可以連接到任何常規耳機上。每個揚聲器向佩戴者的面部發射超出人類聽覺范圍的聲音脈沖,而回聲則由麥克風接收。
當用戶做出各種面部表情或說話時,回聲配置文件將因用戶的皮膚移動、拉伸和皺起的方式而發生輕微改變。經過專門訓練的算法可以識別這些回聲配置文件,並迅速重建用戶臉上的表情,將其顯示在數字頭像上。
“通過人工智能的力量,該算法發現肌肉運動和面部表情之間的復雜聯系,而這些聯系是人眼無法識別的,”該研究的共同作者李克說。“我們可以利用這一點來推斷出更難捕捉的復雜信息--整個面部的正面。”
研究小組在16名參與者身上測試EarIO系統,在一個普通的智能手機上運行該算法。果然,該設備能夠重建面部表情,其效果與普通相機一樣好。風聲、說話聲或街道噪音等背景噪音並沒有幹擾其識別面部的能力。
該團隊表示,聲納比使用相機有一些優勢。聲學數據需要的能量和處理能力要少得多,這也意味著設備可以更小、更輕。相機還可以捕捉到大量用戶可能不打算分享的其他個人信息,所以聲納可能更私密。
至於可能使用這項技術的目的,它可能是一種在遊戲、VR 或虛擬世界的數字化身上復制你的物理面部表情的便捷方式。
該團隊表示,仍然需要進一步的工作,以調出其他幹擾,如用戶轉頭時,並簡化人工智能算法的訓練系統。
這項研究發表在《計算機協會互動、移動、可穿戴和泛在技術期刊》上。