哈佛研發"All_Aboard"App 利用智能手機的攝像頭引導盲人到達公交車站


雖然已經有一些應用程序可以引導盲人用戶找到公交車站的大致GPS坐標,但這些人可能會在不知情的情況下站在離實際車站太遠的地方。一款新的應用程序通過讓智能手機的攝像頭參與其中,解決這一缺陷。

圖片.png

這款名為"All_Aboard"的人工智能應用程序是由哈佛大學附屬馬薩諸塞州眼耳治療和研究中心的科學傢團隊開發的。它可以與第三方基於 GPS 的導航應用程序(如Google地圖)一起使用。

用戶首先要使用其他應用程序來確定公交車站的大致位置。然後打開 All_Aboard,舉起智能手機,讓後置攝像頭"看到"周圍的街道。

據報道,該應用程序利用深度學習神經網絡,在該市約 10000 張公交站牌圖像上進行訓練,如果目標站牌在 50 英尺(15 米)以外的范圍內,它就能直觀地識別出目標站牌。一旦發現標志,該應用程序就會通過類似聲納的蜂鳴聲引導用戶,隨著用戶離公交站越來越近,蜂鳴聲的音調和速度也會隨之改變。

在實地測試中,24 名雙目失明的志願者同時使用Google地圖和 All_Aboard 定位總共 20 個公交站點,其中 10 個位於市區(波士頓),10 個位於郊區(馬薩諸塞州牛頓市)。

在"足夠接近"這些車站方面,Google地圖的成功率僅為 52%,而 All_Aboard 則將成功率提高到 93%。此外,Google地圖的地圖終點與實際公交站點之間的平均距離為 6.62 米(21.7 英尺),而 All_Aboard 的平均距離僅為 1.54 米(5 英尺)。

"我們的研究結果表明,All_Aboard 應用程序可以幫助有視覺障礙的旅客導航,準確檢測公交站點,從而大大降低他們因站得離公交站點太遠而錯過公交車的幾率,"馬薩諸塞州眼耳科副教授羅剛說。"這項研究表明,基於計算機視覺的物體識別能力可以以一種互補的方式加以利用,並在現實世界環境中為純粹基於地圖的宏觀導航服務帶來更多益處。"

到目前為止,All_Aboard 已經在全球 10 個主要城市進行訓練,並可通過App Store 在 iPhone 上使用。最近發表在《轉化視覺科學與技術》(Translational Vision Science & Technology)雜志上的一篇論文對其進行介紹,下面的視頻對其進行演示。


相關推薦

2023-12-05

受。幾年來,微軟一直在更新 iOS 版的"Seeing"人工智能應用程序,但許多使用Android智能手機的人一直想知道微軟是否會推出該操作系統的相應版本。今天,微軟正式宣佈 Android 版 Seeing AI 應用程序終於可以從 Google Play 商店

2024-05-14

在幫助視力受限人群實時解身邊場景並提供幫助。這款APP利用最新的GPT-4o模型,結合實時視覺和語音能力。通過這款APP,盲人可以隨時解自己周圍的環境,並通過語音助手的幫助做出一些決策。這標志著GPT不再隻是一個簡單的助

2023-10-28

界面幾乎無法使用。然而,實驗性的新型BrushLens設備可以利用用戶的智能手機來完成工作。目前,BrushLens還處於功能原型階段,由密歇根大學助理教授郭安紅和副教授AlansonSample領導的團隊開發。它本質上是一個高科技智能手機

2024-03-03

隻需一枚攝像頭和一對耳機,便能將畫面轉化成語言,描繪場景、提示風險,讓視障者出行更安全、生活更便捷。日前,在復旦大學自然語言處理實驗室(FudanNLP)師生的努力下,基於多模態大模型“復旦·眸思”(MouSi)為視障

2023-01-21

瞽(讀作gǔ)目院,這套盲文總結當時北京方言的音節,利用康熙字典來排序,一共包含四百零八個音節。所以,這套盲文叫做康熙盲文,又叫“四零八”。學習這套盲文,需要背誦四百零八個音節。後來,有傳教士利用聲母、

2023-04-16

也升級一代,算法更是進行無數次迭代。通過核心技術的研發,目前滴滴自動駕駛已經掌握包括感知、預測、決策、控制、大規模的仿真系統、大規模的機器學習平臺等等L4級自動駕駛的全棧核心技術,而且核心技術已經完全實

2022-07-23

為119.9度,第三個攝像頭是一個微距鏡頭。OnePlus 10T還將利用下一代圖像處理引擎,稱為圖像清晰度引擎2.0。該算法有助於更快地生成照片,並提供更高水平的細節,與此同時OnePlus 10T還支持HDR 5.0和TurboRAW。預計OnePlus 10T將裝備6.7

2024-03-01

由於微軟不再擁有移動平臺,因此很高興看到該公司充分利用Android系統,為用戶提供先進的功能。

2022-07-18

中提到,三星電機在2010年才進入攝像頭模組領域。隨著智能手機攝像頭模組價格的下滑,三星電機從2020年開始專註於利潤更高的車用攝像頭模組。作為三星旗下的重要廠商,三星電機也為三星電子供應攝像頭模組,用於Galaxy系

2022-09-11

會對人類社會產生如此深遠的影響。第一代 iPhone 為現代智能手機奠定基礎,就此開啟一個嶄新的時代:幾乎人人都會隨身攜帶一臺口袋電腦,隻要點擊幾下屏幕,海量信息就會呈現在眼前。根據 GSMA Intelligence 的數據,全世界目

2023-10-28

發佈的最新調查報告,受到需求疲軟、庫存調整以及每部智能手機的攝像頭數量減少等多種因素的影響,2023年上半年全球智能手機CMOS圖像傳感器(CIS)出貨量為20億個,同比下降14%。▲圖源Counterpoint在持續的通脹壓力和充滿挑

2022-09-09

一些關於GooglePixel7、Pixel7Pro、Pixel平板電腦和Pixel可折疊智能手機的攝像頭細節。同一位開發者翻閱Android13季度平臺第1版的代碼,發現關於可能是第二款Pixel可折疊手機的相機細節。這款代號為"Felix"的第二款Pixel可折疊機

2023-07-26

才得以繼續乘坐公交。隨後在汨羅境內,還需步行6公裡到達長沙縣青山鋪鎮,乘坐XT1路公交車到達終點站東升路公交首末站,再花費2元乘坐703路公交到長沙市區。整段路程共花費一天半時間、77.7元。對於前來咨詢的初體驗者,

2023-03-16

,最終成品形式將類似谷歌眼鏡。據報道,蘋果公司正在研發一款虛擬現實頭戴耳機,可以使用面朝外部攝像頭的視頻來展示外部世界,就像一個透明的鏡片。微軟有自己研發的商用增強現實眼鏡Hololens,但今年早些時候辭退負