視頻來自官方，翻譯：小互
OpenAI和Be My Eyes合作推出一款新的APP，旨在幫助視力受限人群實時解身邊場景並提供幫助。這款APP利用最新的GPT-4o模型，結合實時視覺和語音能力。
通過這款APP，盲人可以隨時解自己周圍的環境，並通過語音助手的幫助做出一些決策。這標志著GPT不再隻是一個簡單的助手，而是向著朋友的方向邁出一大步。GPT-4o的新能力讓其可以與硬件結合，為用戶帶來更多可能性。
舉例來說，OpenAI在一段演示視頻中展示與專門為視障人士提供幫助的公司BeMyEyes的合作。他們將GPT-4o植入到一位盲人遊客的手機中，通過手機攝像頭成為盲人的眼睛。這使得盲人能夠得知面前發生的一切，比如白金漢宮的樣子、公園的環境，甚至是出租車是否停下等等。
應用特點
實時視覺與語音能力:GPT-4o模型結合實時視覺和語音功能，使得盲人和視力受限用戶能夠通過語音助手的幫助，隨時解自己周圍的環境。
決策輔助:通過實時的語音交互，該應用可以幫助用戶做出決策，如識別物品、導航指引等。
模擬朋友的角色:與傳統的AI助手相比，GPT-4o更像是一個朋友，能夠以更自然的方式與用戶進行交流。
實際應用場景
環境描述:應用可以描述用戶面前的建築、自然景觀或其他場景，如白金漢宮的外觀或公園的環境。
日常任務輔助:幫助用戶識別出租車是否停下，或其他需要視覺判斷的簡單任務。
技術演示
OpenAI在演示視頻中展示GPT-4o的實際應用，通過將模型植入盲人遊客的手機中，借助攝像頭功能，實時傳遞周圍環境信息。
硬件結合潛力
GPT-4o的發佈預示著AI與硬件結合的更多可能性，為視障人士提供更多便利。
社會意義
這款應用的開發不僅體現OpenAI在AI領域的技術實力，更重要的是，它強調科技如何幫助解決社會問題，提高特定群體的生活質量。通過這樣的合作，OpenAI正將AI技術轉化為具有深遠社會影響的實際應用。