斯坦福大學復制出ChatGPT人工智能 訓練成本不到600美元


斯坦福大學的Alpaca人工智能在許多任務上的表現與驚人的ChatGPT相似--但它建立在一個開源的語言模型上,訓練成本不到600美元。看來這些神一樣的人工智能已經便宜得嚇人,而且很容易復制。

六個月前,隻有研究人員和博學者在關註大型語言模型的發展。但去年年底ChatGPT的推出震驚世界:機器現在能夠以一種與人類幾乎沒有區別的方式進行交流。它們能夠在幾秒鐘內寫出文本,甚至是跨越一系列令人眼花繚亂的主題領域的編程代碼,而且往往是非常高的質量標準。正如GPT-4的推出所表明的那樣,它們正在以流星般的速度進步,它們將像其他技術一樣從根本上改變人類社會,因為它們有可能將一系列工作任務自動化--特別是在白領工人中,人們以前可能認為這是不可能的。

許多其他公司--特別是Google、蘋果、Meta、百度和亞馬遜等--也不甘落後,它們的人工智能很快就會湧入市場,附著在各種可能的應用和設備上。如果你是Bing的用戶,語言模型已經出現在你的搜索引擎中,而且它們很快就會出現在其他地方。它們將出現在你的車裡、你的手機裡、你的電視上,當你試圖給一傢公司打電話時,它們會在電話的另一端等待。過不多久,你就會在機器人中看到它們。

有一點值得安慰的是,OpenAI和其他這些大公司都意識到這些機器在垃圾郵件、錯誤信息、惡意軟件、有針對性的騷擾和其他各種大多數人都認為會使世界變得更糟的使用情況方面的瘋狂潛力。他們花好幾個月的時間在產品發佈前手動削減這些能力。OpenAI首席執行官薩姆-奧特曼(Sam Altman)是許多擔心政府行動不夠迅速的人之一,沒有以公共利益的名義為人工智能設置圍欄。

但是,你可以花600美元自己建立一個語言模型呢?斯坦福大學的一個研究小組已經做到這一點,其令人印象深刻的表現突出整個行業及其令人敬畏的能力可能會迅速失去控制。

斯坦福大學的一個研究小組從Meta的開源LLaMA 7B語言模型開始--這是現有幾個LLaMA模型中最小和最便宜的。在一萬億個"tokens"上進行預訓練,這個小語言模型有一定的能力,但它在大多數任務中會明顯落後於ChatGPT;GPT模型的主要成本,甚至主要競爭優勢,主要來自OpenAI在後期訓練中投入的大量時間和人力。讀十億本書是一回事,但通過大量的問答式對話來教導這些AI的實際工作是另一回事。

因此,隨著LLaMA 7B模型的建立和運行,斯坦福大學的團隊基本上要求GPT采用175個由人類編寫的指令/輸出對,並開始以同樣的風格和格式生成更多的指令/輸出對,每次20個。這是通過OpenAI提供的一個有用的API自動完成的,在很短的時間內,該團隊有大約52000個對話樣本,用於後期訓練LLaMA模型。生成這些大量訓練數據的成本不到500美元。

然後,他們用這些數據來微調LLaMA模型--這個過程在8臺80GB的A100雲處理計算機上花大約3個小時,這又花費不到100美元。

xEOJK0zP.jpg

斯坦福大學團隊使用GPT-3.5給LLaMA 7B提供一套關於如何完成其工作的指令

接下來,他們對產生的模型進行測試,他們稱之為Alpaca,與ChatGPT的底層語言模型在各種領域(包括電子郵件寫作、社交媒體和生產力工具)進行對比。在這些測試中,Alpaca贏得90項,GPT贏得89項。

"鑒於模型規模小,指令跟隨數據量不大,我們對這一結果相當驚訝,"該團隊寫道。"除利用這個靜態評估集,我們還對Alpaca模型進行交互式測試,發現Alpaca在不同的輸入集上往往表現得與text-davinci-003 [GPT-3.5]類似。我們承認,我們的評估在規模和多樣性方面可能是有限的"。

該團隊表示,如果他們尋求優化過程,他們可能會更便宜地完成這項工作。值得註意的是,任何希望復制人工智能的人現在都可以獲得能力更強的GPT 4.0,以及幾個更強大的LLaMA模型作為基礎,當然也沒有必要停留在52000個問題上。

斯坦福大學的團隊已經在Github上發佈這項研究中使用的52000個問題,以及生成更多問題的代碼,還有他們用來微調LLaMA模型的代碼。該團隊指出,"我們還沒有對模型進行微調,使其安全無害",並要求任何建立這種模型的人報告他們發現的安全和道德問題。

那麼,有什麼可以阻止任何人現在花100美元左右創建他們自己的人工智能,並以他們選擇的方式訓練它?OpenAI的服務條款確實帶來一些法律問題,它說:"你不能......使用服務的輸出來開發與OpenAI競爭的模型"。而Meta說它在現階段隻允許學術研究人員在非商業許可下使用LLaMA,盡管這是一個有爭議的問題,因為整個LLaMA模型在公佈一周後就在4chan上泄露。

哦,還有一個小組說它已經設法消除雲計算成本,在Github上發佈更多的代碼,可以在樹莓派上運行,並在單個高端nVidia RTX 4090顯卡上在5小時內完成訓練過程。

圖片.png

這一切意味著什麼?現在可以建立無限數量的不受控制的語言模型--由具有機器學習知識、不在乎條款和條件或軟件盜版的人建立--隻需花錢,而且並不是高不可攀。

這也給致力於開發自己的語言模型的商業人工智能公司潑一盆冷水;如果所涉及的大部分時間和費用都發生在訓練後階段,而這項工作或多或少可以在回答50或100000個問題的時間內被竊取,那麼公司繼續砸錢是否有意義?

而對於我們其他人來說,嗯,很難說,但這個軟件的強大功能肯定可以為專制政權、網絡釣魚行動、垃圾郵件發送者或任何其他可疑的人所用。

精靈已經從瓶子裡出來,而且似乎已經非常容易復制和重新訓練。


相關推薦

2023-01-29

標準用於判斷文本是否是機器生成的,這並不依賴於訓練人工智能或收集大型數據集來比較文本。這種方法被稱為"zero-shot",允許DetectGPT檢測機器寫的文本,而不需要解用於生成文本的人工智能。它的操作與其他需要訓練

2023-01-30

算法可以用於判斷文本是否是機器生成,並且不需要訓練人工智能或收集大型數據集來比較文本。研究團隊聲稱新算法的檢測的準確性能有實質性的提高,並表明該技術可對未來越來越普遍的人工智能寫作論文事件起到很好的反

2023-03-18

面也做出一些調整,招募數十名前Google和 Meta 員工來創建人工智能聊天機器人。在 OpenAI 上,Google作為“矽谷黃埔軍校”的名頭算是坐實:根據 LeadGenius 和 Punks & Pinstripes 的數據顯示,該公司的 300 多名員工(數據截止到 2023

2023-04-26

當地時間周二(4月25日),人工智能研究公司OpenAI在官網發佈的公告中表示,現在聊天機器人ChatGPT的用戶可以通過點擊設置中的切換開關,來阻止聊天記錄被用於訓練模型。比起這一改進,公告後半部分的消息明顯更為勁爆。Op

2023-04-24

到創辦Scale AI的緣由:我在矽谷工作的這段時間裡,看到人工智能領域目前存在形形色色的問題,因而解到機器學習的重要性。Wang出生於美國新墨西哥州,父母均是物理學傢。早在高中的時候,他因為在編程比賽上的出色表現,

2024-03-25

並不令人意外,也並非無法預測,實際上這是由我們衡量人工智能性能的方式所決定的。兩年前,450位研究人員在一個名為超越模仿遊戲基準(BeyondtheImitationGameBenchmark,BIG-bench)的項目中,編制一份包含204項任務的清單,旨在

2022-09-03

覺怎麼樣?是不是聽起來十分科幻,經過兩年籌備,一群斯坦福大學的畢業生開設一傢餐廳,飯菜都是由機器人提供。Kolchinski的公司Mezli在舊金山開設一傢全自動餐廳,提供各種地中海主題的谷物碗,Kolchinski稱,這是世界上第

2023-02-12

是通過大腦中的碳原子傳遞,還是機器中的矽原子傳遞,人工智能都可能有人格,也可能沒人格。我賭它沒有,但其實也有可能。’‘最大的危險其實是,造出一臺比我們還聰明的機器。這不一定是好事還是壞事,它們可能會幫

2024-05-10

斯坦福大學的一個研究小組正在開發一種新的人工智能輔助全息成像技術,並聲稱這種技術比研究人員所見過的任何技術都更薄、更輕、質量更高。這種技術能否將增強現實(AR)頭盔提升到一個新的水平?斯坦福大學的全息 AR

2023-04-04

一份關於人工智能進展的年度報告強調,在部署和保障人工智能應用方面,行業參與者比學術界和政府更具有優勢。2023年人工智能指數--由斯坦福大學的研究人員以及包括Google、Anthropic和HuggingFace在內的人工智能公司編制--表明

2023-03-15

ChatGPT今天升級GPT-4模型,AI能力更加強大,國內在這方面也在迅速追趕,有國歌國產版ChatGPT問世,現在清華大學教授唐傑宣佈由該校AI成果轉化的ChatGLM開始內測。據介紹,對話機器人 ChatGLM(alpha內測版:QAGLM),這是一個初具問

2023-03-25

同建立,最初是一傢非盈利機構,研究的目的是為“確保人工智能不會消滅人類”。據知情人士表示,馬斯克在2018年初告知其他創始人,他認為OpenAI的進度“遠遠落後於谷歌”,因此他想要控制這傢公司並親手幹預經營。由於

2024-04-12

面上是這樣介紹自己的:“Physical Intelligence是一傢將通用人工智能帶入物理世界的新公司。我們是一群工程師、科學傢、機器人學傢和公司創建者,正在開發驅動當今機器人和未來物理設備的基礎模型及學習算法。現在還處於初

2024-03-04

全球AI領域研究的標志性人物,長期主導著斯坦福大學的人工智能學科研究。而她帶出的學生軍團,正成為全球AI界的中流砥柱。黃仁勛,找來兩位90後資料顯示,英偉達成立的Gear實驗室,致力於具身智能研究開發,這是黃仁勛