今天OpenAI宣佈經過重大改進的GPT-4Turbo版本即帶有視覺功能的GPT-4TurbowithVisio版將向ChatGPT用戶開放,當然隻有開通ChatGPTPlus的訂閱用戶才能在ChatGPT中使用。
不過 OpenAI 也宣佈該版本面向部分使用 API 調用的開發者們開放,所以如果你已經有 OpenAI API 那麼也可以通過 API 付費調用 Vision 版。
GPT-4 Turbo with Visio 繼承 GPT-4 Turbo 的所有特性,包括支持 128K 上下文窗口和截止到 2023 年 12 月的知識數據,與 Turbo 相比,Vision 帶來視覺理解功能,可以用來理解圖像和視覺內容。
在推出 Visio 版之前開發者必須調用單獨的文本和圖像模型,而現在開發者調用一個模型即可處理內容,這可以大幅度簡化開發者的內容處理流程,為開發者推出更多富有創意的用例打開大門。
OpenAI 開發者團隊也分享一些使用該模型的用例,例如 AI 軟件工程師助理 Devin 使用 GPT-4 Turbo with Visio 更好地協助編寫代碼,Make Real 使用 GPT-4 Turbo with Visio 將用戶繪制的圖片轉換為一個可在線訪問和交互的網站。
健康和健身應用 Healthift 使用帶有 Vision 的 GPT-4 Turbo 來掃描用戶膳食的照片,通過照片識別來提供營養見解。
API 費率方面 GPT-4 Turbo with Visio 的價格要比普通版本更高一些,開發者們可以通過 OpenAI 開發者平臺查詢最新支持文檔和費率以及 API 調用的一些限制。
OpenAI 開發者支持文檔:https://platform.openai.com/docs/models/gpt-4-turbo-and-gpt-4