ClearBuds團隊介紹基於實時機器學習的通話音頻增強技術


對於習慣佩戴支持主動式降噪(ANC)耳機的用戶們來說,你會發現市售產品的解決方案仍有一定的改進空間——麥克風會拾取諸多音頻,而不是你想要集中註意力的那部分。好消息是,來自華盛頓大學的一支研究團隊,剛剛介紹一款名叫ClearBuds的真無線耳機,特點是能夠利用實時機器學習來增強語言體驗。

(來自:University of Washington)

ClearBuds 是華盛頓大學三名研究人員(COVID 大流行期間的室友們)的一個項目成果。

作為一個開源項目,ClearBuds 旨在通過引入深度學習和音頻處理層,來化解這方面的問題。

1 - ClearBuds vs Airpods Pro Noise Suppression(via)

可知其系統中包含一套麥克風系統、以及能夠在智能手機上運行的實時機器學習系統。

盡管大多數耳機僅使用其中一個耳塞將音頻發送到手機,但 ClearBuds 系統卻能夠發送兩路音頻流。

通過快速分析和處理,其相關信息能夠被用於視頻 / 電話呼叫等實時音頻的體驗改進。算法會抑制非語音信息,以增強用戶通話時的聲音。

Paul G. Allen 計算機科學與工程學院博士生 Maruchi Kim 表示,ClearBuds 有兩個關鍵特性。

2 - ClearBuds System Overview(via)

首先,這款真無線耳機使用雙麥克風陣列,用於創建兩個同步音頻流,提供信息並允許我們在更高解析力的空間上分離來自不同方向的聲音。

其次,通過引入輕量級的神經網絡,ClearBuds 得以進一步增強通話者的聲音。研究合著者 Ishan Chatterjee 補充道:

由於講述者的聲音離兩個耳機很近、且距離大致相等,因而神經網絡訓練可專註於其語音並消除其它背景噪聲。

這種方法與人耳的工作方式非常相似,即利用聲音傳入左右耳的時間差,來判斷聲音到底來自哪個方向。

3 - ClearBuds Background Voice Removal(via)

展望未來,我們希望該研究團隊能夠很快將 ClearBuds 或其實時機器學習音頻增強技術推向市場。感興趣的朋友,可移步至該項目的專題頁面來獲知詳情。


相關推薦

2022-07-27

還是電競遊戲,Noise Suppression 都可增強清晰度和註意力。基於實時深度學習的算法,這項新功能適用於任何 AMD 驅動系統中的輸入 / 輸出設備,幫助消除本機麥克風、或從其他人設備上捕獲的不必要的背景噪聲。感興趣的朋友,

2023-08-10

考慮每一種可能的變化。上個月,Google的 DeepMind 機器人團隊展示 RT-2(機器人變形金剛 2),令人印象深刻。該系統能夠抽象出執行任務時的細枝末節。在所舉的例子中,讓機器人扔掉一個垃圾,並不需要程序員教機器人識別特

2022-09-15

們目前真的能利用好這個工具嗎?近日,來自 MIT 的研究團隊給出否定的回答。他們對使用 AlphaFold2 的分子對接模擬的模型性能進行評估,發現模型在識別真正的蛋白質-配體相互作用方面的預測能力較弱,並證明需要使用基於機

2024-03-09

倍。”Google工程師:2028年有10%概率實現AGI而Google機器人團隊的軟件工程師Alex Irpan,在LLM領域出現進展後發現,AGI的到來會比自己預想的更快。Irpan對於AGI的定義如下——一個人工智能系統,在幾乎所有(95%+)具有經濟價值的工

2022-11-23

(ANN)組件的機械等價物,ANN是驅動機器學習的算法。該團隊的創造,即機械神經網絡(MNN),是由以三角格子模式排列的單獨可調整的梁組成的。每根橫梁都配備音圈、應變片和撓性裝置,使其能夠改變長度,實時適應其不斷

2022-07-20

。2016年,高通首次發佈專用的可穿戴設備平臺驍龍2100,基於移動平臺而來。2018年的驍龍3100,首次采用混合架構,集成始終開啟的協處理器,功耗大大優化。2020年的驍龍4100+/驍龍4100,則升級增強型混合架構,還有全新的可穿戴

2023-11-09

個支持最新方法的連貫框架。為克服這些挑戰,一個研究團隊提出 Fortuna,這是一個開源的不確定性量化庫。Fortuna 將現代可擴展技術從文獻中整合到庫中,並通過一致、直觀的界面提供給用戶。其主要目標是使回歸和分類應用

2023-11-13

好地保護這顆藍色星球。Raskin認為,在未來12-36個月內,團隊就可以實現與動物交流,比如做出一個人造鯨魚或烏鴉,能以一種無法分辨的方式與鯨魚或烏鴉交談,不過關鍵點在於,我們也需要理解模型在說什麼,才能進一步對

2022-09-11

根據國外科技媒體9to5Google發現的最新代碼,Google的ChromeOS團隊希望提供一些視頻聊天功能。首先介紹的是背景模糊功能,ChromeOS 已經提供一個功能 Flag。從我們可以拼湊的內容來看,背景模糊將由機器學習提供支持,這可能意味

2023-12-07

NPU硬件來提升視頻和遊戲的畫質。另外,一個增強版的“實時字幕”也正在開發中,能夠實時翻譯多種不同語音,無論是視頻中的音頻還是實時通話。甚至還有AI驅動的壁紙,可以通過機器學習來識別圖像圖層,能夠和用戶通過

2022-08-03

學加速季科學和人工智能實驗室、AutodeckAI實驗室的科研團隊聯合開發一種基於機器學習的框架,能夠根據2D拼搭指導手冊來展示3D效果。該框架叫做 Manual-to-Executable-Plan Network(簡稱 MEPNet),目前已經在多款計算機生成的樂高套

2022-07-06

實具有巨大的優勢,因為NVIDIA在擁有強大的芯片架構設計團隊來為人工智能模型設計芯片架構的同時,也擁有很強的軟件團隊來優化在芯片上的人工智能模型運行效率,兩者相結合確實威力無窮。縱觀NVIDIA針對機器學習的GPU設計

2023-01-06

察世界,如視覺、聽覺和我們對語言的理解。另一方面,機器則通過算法可以處理的數據來解釋世界。因此,當機器"看到"一張照片時,它必須將照片編碼為它可以用來執行圖像分類等任務的數據。當輸入有

2024-04-12

AI引入物理世界所需的技術。為此他們組建一支“世界級團隊”,迫不及待開始這趟新的冒險旅程。根據公開消息,才創立不到一個月,Pi已經被包括OpenAI和其早期投資者Khosla Ventures、美國紅杉資本、Lux Capital在內的多傢風投機構