全球最強大模型一夜易主 GPT-4被全面超越


Anthropic剛剛官宣:Claude3來!作為OpenAI最強競爭選手,此次它發佈的新模型傢族,以最強版Claude3Opus為代表,“已經實現接近人類的理解能力”——在推理、數學、編碼、多語言理解和視覺方面,全面超越GPT-4在內的所有大模型,直接重新樹立行業基準的那種。淺看一下這份成績單,就十分紮眼~


幾項數學類評測都是用0-shot超越GPT-4的4-8 shot。

除此之外,此前就以長下文窗口見長的Claude,此次全系列大模型可提供 200K 上下文窗口,並且接受超過100萬Tokens輸入

Gemini 1.5 Pro:嗯?


目前可以免費體驗第二強Sonnet,Opus最強版供Claude Pro付費用戶使用,但大模型競技場也可以白嫖。於是乎,網友們已經開始瘋玩上。(Doge)


另外,Opus和Sonnet也開放API訪問,開發者可以立即使用。

有人直接艾特奧特曼:好,你現在可以發佈GPT-5。


不過奧特曼可能還在煩馬斯克的訴訟……


最新最強大模型發佈

此次Claude 3傢族共有三個型號:小杯Haiku、中杯Sonnet以及大杯Opus,成本和性能依次遞增。


首先,在性能參數上,Claude 3全系多方面全面提升。其中Opus在MMLU、GPQA、GSM8K等評估基準上領先於其他所有模型:


還有在視覺能力上,它能可以處理各種視覺格式,包括照片、圖表、圖形和技術圖表。


對於這樣性能結果,有專業人士表達自己的看法。

比如愛丁堡大學博士生、 中文大模型知識評估基準C – Eval提出者之一符堯就表示,像MMLU / GSM8K / HumanEval這些基準,已經嚴重飽和:所有模型的表現都相同。


他認為,真正區分模型性能基準的是MATH and GPQA


另外,在拒絕回答人類問題方面,Claude 3也前進一大步,拒絕回答的可能性顯著降低


在上下文以及記憶能力上,他們用大海撈針(Needle In A Haystack,NIAH)來評估衡量大模型從大量數據中準確召回信息的能力。

結果Claude 3 Opus 不僅實現近乎完美的召回率,超過 99% 的準確率。而且在某些情況下,它甚至能識別出 “針 “句似乎是人為插入原文的,從而識別出評估本身的局限性。


還在生物知識、網絡相關知識等方面取得進步,但出於負責任的考慮,仍處於AI安全級別2(ASL-2)

其次,在響應時間上,Claude 3大幅縮短,做到近乎實時。

官方介紹,即將發佈的小杯Haiku能夠在三秒內閱讀並理解帶有圖表的長度約10k token的arXiv論文。

而中杯Sonnet能夠在智能水平更高的基礎上,速度比Claude 2和Claude 2.1快2倍,尤其擅長知識檢索或自動化銷售等需快速響應的任務。

大杯Opus的智能水平最高,但速度不減,與Claude 2和Claude 2.1近似。

官方對三款型號的模型也有清晰的定位。

  • 大杯Opus:比別傢模型更智能。適用於復雜的任務自動化、研發和制定策略;

  • 中杯Sonnet:比其他同類模型更實惠。更適合規模化。適用於數據處理、RAG、在中等復雜度工作流程中節省時間;

  • 小杯Haiku:比同類模型更快速、實惠。適用於與用戶實時互動,以及在簡單工作流程中節省成本;

價格方面,最便宜的小杯定價0.25美元/1M tokens輸入,最貴的大杯定價75美元/1M tokens輸入


對比GPT-4 Turbo,大杯價格確實高出不少,也能體現AnthropicAI對這款模型非常有信心。


第一手實測反饋

既如此,那就先免費來嘗嘗鮮~

目前官方頁面已經更新,Claude展現“理解和處理圖像”這一功能,包括推薦風格改進、從圖像中提取文本、將UI轉換為前端代碼、理解復雜的方程、轉錄手寫筆記等。

即使是模糊不清的有年代感的手記文檔,也能準確OCR識別:

全球最強大模型一夜易主,GPT-4被全面超越

底下寫著:你正在使用他們第二大智能模型Claude 3 Sonnet。


然鵝,可能是人太多的原因,嘗試幾次都顯示“Failed”


不過,網友們也已經po出一些測試效果,比如讓Sonnet解謎題。

為其提供一些示例,要求它找出數字之間的關系,比如“1 Dimitris 2 Q 3”,意思是3是1和2相加的結果。

結果Sonnet成功解出-1.1加8等於6.9,所以“X”的值應該是6.9:


還有網友發現Sonnet現在也可以讀取 ASCII 碼,直呼:這是GPT-4 ++的水平


在編程任務上,誰寫的代碼好先不說,Claude 3至少不會像GPT-4一樣偷懶。


還有體驗到Opus的玩傢,在線給模型挖坑,可opus硬是完美躲避不上當:


初看這效果,感覺還行。這時候應該艾特OpenAI:GPT-5在哪裡?


好,感興趣的朋友,可以戳下方鏈接體驗啦~

https://claude.ai/

參考鏈接:

[1]https://www.anthropic.com/news/claude-3-family

[2]https://twitter.com/AnthropicAI/status/1764653830468428150/photo/1


相關推薦

2024-03-06

義者,尤其是妹妹,一直關註窮人、腐敗、地球環境等等全球議題。他們加入OpenAI的原因,除Brockman的原因,最重要的是,當初OpenAI的定位是開源的非營利機構,目標是要為人類構建安全的AGI。不過,隨著馬斯克的離開和隨後微

2024-02-27

AlphaCode,都是谷歌為開源社區貢獻的創新。而谷歌今天在全球范圍內同步推出的Gemma,必然會再一次掀起構建開源AI的熱潮。同時也坐實OpenAI「唯一ClosedAI」的名頭。OpenAI最近剛因為Sora火到爆,Llame據稱也要有大動作,谷歌這就又

2024-03-05

分全面超越GPT-4,成為首個全面超越GPT-4的產品,也坐上全球最強大模型新王座。而且多版本發佈後,“中杯”(Sonnet)直接免費體驗,“大杯”(Opus)充個會員也能即刻享受。各路測評紛至沓來。所以,Claude 3的“武力值”究

2024-04-19

地區推出”,你可以采用開源模型最樸素的使用渠道——全球最大的 AI 開源社區網站 Hugging Face。Perplexity、Poe 等平臺也迅速宣佈將 Llama 3 集成到平臺服務上。你還可以通過調用開源模型平臺 Replicate API 接口來體驗 Llama 3,其使用

2024-02-22

人Chat with RTX也將很快增加對Gemma的支持。即日起,Gemma在全球范圍內開放使用,用戶可以在Kaggle、Hugging Face等平臺上進行下載和試用,它可以直接在筆記本電腦或臺式機上運行。發佈才幾個小時,已有不少用戶分享試用體驗。社

2024-03-06

正做到與GPT-4全面掰手腕。要知道,從OpenAI去年3月發佈“最強大模型”GPT-4到今天,整整一年來,這是第一款真正挑戰到其天花板地位的模型,不僅評測成績通通趕超,而且是在幾個測試任務中以零樣本戰勝對手,還在第一時間

2023-12-07

被ChatGPT壓著打整整一年,Google選擇在12月的這一天,展開最強反擊戰。多模態Gemini,迄今規模最大、能力最強的Google大模型,在文本、視頻、語音等多個領域超越GPT-4,是真正的一雪前恥。人類有五種感官,我們所建造的世界、

2023-11-08

賞功能,甚至當智能手機日益衰退之際,蘋果依然憑借著強大的生態能力“豢養”著用戶,利於不敗之地。參考蘋果的結果,就很容易回答,是更普惠還是更壟斷的問題。當然,在這個新時代,一切瞬息萬變。“很期待接下來Met

2023-11-07

GPT Store,OpenAI隻用半年多一點的時間。而在 6 個月之內,全球的科技和 AI 行業,已經是天上人間。Sam Altman 總結發佈會亮點|OpenAI當多模態、長文本輸入、更便宜、個性化……這些旨在和 OpenAI 大模型錯位競爭的特點,都被 OpenAI

2023-12-07

時代變?迄今為止規模最大,能力最強的Google大模型來。當地時間12月6日,GoogleCEO桑達爾・皮查伊官宣Gemini1.0版正式上線。這次發佈的 Gemini 大模型是原生多模態大模型現在,Google的類 ChatGPT 應用 Bard 已經升級到 Gemini Pro 版本,

2023-03-29

,到現在為止,還沒有任何人采取行動。最近這幾個月,全球的AI實驗室已經完全失控,它們瘋狂地開展AI競賽,來開發和部署更強大的AI,而沒有任何人可以理解、預測、控制這些AI,連它們的創造者都不能。如今,AI系統在一

2024-03-06

的沖擊還未平靜,Claude3又來。3月4日晚,被稱之為是OpenAI最強競爭對手的Anthropic發佈其最新大模型系列Claude3。該系列包含三個模型,能力由強至弱分別是Claude3Opus(著作)、Claude3Sonnet(十四行詩)和Claude3Haiku(俳句)。Anthropic

2024-02-09

:Bard今後統稱Gemini。通過GeminiAdvanced,即可訪問Google能力最強的原生多模態大模型GeminiUltra!去年12月,Google推出GeminiPro和GeminiNano,人們可以通過聊天機器人Bard、Pixel8Pro和三星S24系列手機免費使用。而今天,Bard改頭換面,帶來

2024-02-16

試檢驗模型學習從未接觸過的信息的能力。對於一本關於全球不足200人使用的Kalamang語的語法手冊,模型能夠學會將英語翻譯成Kalamang,學習效果與人類學習相似。Google的研究者成功地增強模型處理長文本的能力,而且這種增強