蘋果開發出新款AI:可“看懂”屏幕內容並語音回復


快科技4月2日消息,據媒體報道,蘋果公司近日宣佈,成功研發出一款前沿的人工智能系統ReALM(Reference Resolution As Language Modeling,即基於語言建模的參考解析)。

據悉,該系統具備卓越能力,能夠精準解析屏幕上模糊的內容,同時深入理解相關對話及背景環境,從而為用戶提供更為自然流暢的語音助手交互體驗。

ReALM系統通過運用大語言模型技術,巧妙地將識別屏幕視覺元素這一復雜任務轉化為純語言處理問題。這一創新轉換使得ReALM在性能上相較於傳統技術實現質的飛躍。

值得一提的是,ReALM的獨特之處在於其能夠重新構建屏幕內容。通過深入分析屏幕上的信息及其位置分佈,系統能夠生成精準的文本表示,這對於捕捉視覺佈局中的關鍵信息至關重要。

研究人員進一步展示將ReALM與專門針對內容指向優化的語言模型相結合的方法,結果顯示在執行相關任務時,ReALM的性能已超越業界翹楚GPT-4。

研究人員興奮地表示:我們對現有系統進行深度優化和顯著改進,使其在處理各種類型的內容指向任務時均表現出卓越性能。即便是我們的最小模型,也實現超過5%的性能提升;而大型模型的表現更是顯著超越GPT-4,令人矚目。”

長期以來,蘋果在創新領域更多扮演跟隨者的角色,然而隨著人工智能技術的迅猛發展,市場格局正發生深刻變革。如今,蘋果正積極迎接挑戰,努力在人工智能領域占據一席之地。

此外,備受矚目的全球開發者大會即將在6月盛大召開。屆時,蘋果預計將推出一系列創新成果,包括全新大語言模型框架、Apple GPT”聊天機器人及其生態系統中的其他AI功能。


相關推薦

2024-04-02

4月2日消息,蘋果公司的研究團隊最近發表一篇論文,宣佈他們成功開發出一款創新的人工智能系統。這個系統能夠準確地理解屏幕上模糊的內容及其相關對話和背景環境,進而實現與語音助手更加自然的互動。這個系統被命名

2024-03-23

請商標VoiceEngine,暗示著OpenAI可能即將推出圍繞語音引擎開發的產品或者服務,很有可能是類似Siri那樣的個人助理產品。OpenAI正在申請一個新商標VoiceEngine,商標的覆蓋范圍主要是圍繞語音識別、語音合成和語音生成幾個方面。

2024-04-08

音回復),能夠保存並下載交流的歷史記錄,還加入不少開發者選項。同時,在界面右側language下方的對話框裡,也可以“設定”EVI的性格,甚至可以是“充滿渴望的電冰箱”或者“容易嫉妒的室內綠植”這樣的幻想設定。02量

2024-04-15

新的姿態橫空出世,加上“OpenAI首席執行官SamAltman投資、蘋果前員工夫妻聯手、被《時代》雜志評為‘2023年度發明’”等眾多名頭,在科技圈掀起熱烈討論,並被寄予“未來AI設備雛形”的厚望。然而,這款備受關註的AI設備一

2024-02-16

據彭博社報道,蘋果公司正在開發Xcode的升級版本,其中將包括一個用於生成代碼的人工智能工具。該人工智能工具將類似於微軟的GitHubCopilot,可以根據自然語言請求生成代碼,並將代碼從一種編程語言轉換為另一種編程語言。

2022-12-07

12月7日,據TheElec報道,蘋果已經與韓國面板供應商三星顯示和LG Display合作研發20.25英寸可折疊面板。據悉,這款面板展開時為20.25英寸,折疊狀態下為15.3英寸,從尺寸上來看該面板很可能會在蘋果MacBook系列筆記本電腦上應用。

2023-01-10

,微信手表版支持文字快捷恢復、微信支付、消息列表、語音轉文字、表情回復、語音回復、微信運動同步等一系列功能。需要註意的是,想要在OPPO Watch 3上使用微信手表版,存在一些限制。根據官方說明,該功能僅支持配對安

2023-02-05

時,均有個別金額出現語音播報錯誤。據悉,旁白功能是蘋果打造的一種基於手勢的屏幕閱讀器,可讓你在無法看見屏幕的情況下使用iPhone。旁白會對屏幕內容進行音頻描述,從電池電量、來電信息到手指所在的App,你還可以根

2024-05-12

始,矽谷科技巨頭將開啟新一輪的AI大戰。OpenAI、Google、蘋果都將押註AI助手,並發佈一系列重磅更新,你準備好?新一輪AI大戰,即將拉開序幕!下周一,OpenAI將開啟線上直播,官宣GPT-4升級,甚至還有一個超級“AI助手”等著

2023-03-31

3月31日消息,業內人士Ross Young爆料,蘋果公司正在開發配備13.4英寸OLED屏的MacBook Air,與目前13.6英寸LCD屏MacBook Air相比,新型號尺寸更小。與此同時,供應鏈三星開始開發蘋果新款MacBook Air所需的OLED屏幕,這塊屏幕采用的是雙層

2023-11-11

示屏,直接將手掌變成一個迷你屏幕。Humane 是一傢由前蘋果設計師成立的AI初創公司,最新估值為 8.5 億美元,Sam Altman 是它最大的外部股東,除此之外,背後還有微軟、Salesforce 等巨頭支持者。幾天前,OpenAI 開發者大會讓整個

2023-03-09

蒂亞·納德拉最近在接受英國《金融時報》采訪時表示,蘋果的 Siri、亞馬遜的 Alexa,微軟自傢的 Cortana(中文名:小娜)以及公認拔尖的 Google Assistant,這些語音助手有一個算一個:都笨得跟石頭一樣。納德拉和 Cortana,圖/微軟2

2024-03-27

當地時間周二(3月26日),蘋果公司在官網宣佈,將於太平洋時間2024年6月10日至14日在線舉辦全球開發者大會“WWDC24”。在WWDC24的頭一天(6月10日,正好是今年的端午節),蘋果將在位於美國加州的總部ApplePark舉辦全天活動,其

2024-03-12

蘋果公司最近開始向工廠和相關供應商分發iOS18的內部版本,據一個在分享蘋果計劃準確細節方面有良好記錄的私人賬戶在X上分享的可靠信息顯示。蘋果在這一階段提供的iOS版本被稱為"VendorUI",其訪問權限受