Stable Diffusion背後團隊發佈開源大語言模型 可用於本地部署


當地時間周三(19日),開發AI圖像生成工具StableDiffusion的創業公司StabilityAI宣佈,發佈並開源該團隊訓練的大語言模型StableLM。根據該團隊的公告,目前StableLM的“阿爾法版本”中擁有30億和70億參數的模型已經可以從GitHub等開源平臺上下載,後續還將推出150億至650億參數的版本。

(來源:Stability AI)
(來源:Stability AI)

與Stable Diffusion類似,StableLM同樣支持知識共享4.0協議,開發者可以在遵守協議的情況下,將這個模型用於商業或研究活動。

這傢公司在去年發佈的Stable Diffusion,使得AI“文生圖”賽道成為AIGC領域商業化前景最為明朗的行業。

Stability AI介紹稱,StableLM可以生成文本和代碼,並將助力一系列下遊應用。這個模型建立在經典訓練集The Pile的新實驗訓練集上,token數量翻3倍至1.5萬億,公司也將在適當的時候發佈數據集的詳細信息。盡管公佈出來的模型參數量很少,但數據集的豐富性使 StableLM在會話和編程任務中表現出驚人的高性能,展現小型高效模型如何通過適當的訓練提供高性能。

(效果演示,來源:Stability AI)
(效果演示,來源:Stability AI)

與GPT-4等超級大模型不同,Stability AI的產品可供每一個人下載並部署在本地。這種做法也曾遭到一些非議,因為徹底開源意味著這些模型極有可能被用於惡意目的,例如撰寫釣魚鏈接的文案和協同軟件攻擊等。

對此,Stability AI在周三的公告中也予以回應,強調開源模型是為促進透明度和培養信任。研究人員可以“深入解”以驗證性能、研究可解釋的技術、識別潛在風險並幫助制定保障措施。公共和私營部門可以針對自己的應用程序 “微調”這些開源模型,無需共享敏感數據或放棄對AI功能的控制。

當然,如此“大方開源”的背後,Stability AI也背負著沉重的營收壓力。據新興財經媒體Semafor 4月初報道,Stability AI去年底剛剛融到1億美元的資金正接近“快速燒完”,公司CEO Emad Mostaque的領導風格也遭到內部質疑。


相關推薦

2022-10-21

StableDiffusion到底是誰的StableDiffusion?前幾天,一傢AI公司融資的消息吸引不少人的目光。這傢公司名叫StabilityAI,成立於2020年,在拿到本輪1.01億美元的融資之後成為新晉獨角獸,估值高達10億美元。原標題:價值1億美金時,Stable

2023-08-10

000GPU,可以在15小時內完成860M token的GPT3-40B的微調。Stable Diffusion XL每分鐘可以生成40張圖片,比4090快5倍。OVX服務器:搭載L40S,性能小勝A100而專為搭建數據中心而設計的L40S GPU,性能就更加爆炸。基於Ada Lovelace架構的L40S,配備有

2022-09-10

在StableDiffusion以“免費開源”爆火AI畫畫圈後,背後公司的估值快速攀升到10億美元(約合人民幣69億)。知情人士透露,StabilityAI正在籌備一輪融資,金額為1億美元(約合人民幣6.9億元)。在此之前,它們才以1億美元估值,通

2023-11-09

T4相比,技術代差是存在的。“因為閉源,大傢不知道GPT4背後真正的技術方案是什麼,如何把這麼大的模型用專傢結構訓練出來,目前大傢還都在探索。”在陳冉看來,國內的大語言模型完全原創的較少,有些是在transformer架構

2024-03-18

理高效訓練優化策略模型架構設計模型采用Sora同源架構Diffusion Transformer (DiT) 。它以采用DiT架構的高質量開源文生圖模型PixArt-α為基座,在此基礎上引入時間註意力層,將其擴展到視頻數據上。具體來看,整個架構包括一個預訓

2024-03-18

這一舉動意味著Google開始兼顧開源和閉源的新策略,而其背後的目的也是顯而易見。眾所周知,當前大模型領域的競爭已經形成一種錯綜復雜的打壓鏈格局。其中OpenAI牢牢站在鏈條頂端,而它所打壓的恰恰是那些有潛力追趕上它

2024-03-23

天前,前CEO Emad Mostaque親自在內部全體會議上宣佈:Stable Diffusion核心研究團隊集體辭職。包括研究團隊領導、論文一作Robin Rombach,共同一作Andreas Blattmann,以及另一位作者Dominik Lorenz。Stability AI怎麼?Stability AI的成功很大程度上可

2023-02-27

感受一番AI震撼,那麼2022年下半年以來,自ChatGPT和StableDiffusion掀起的AIGC浪潮,則是令主流互聯網用戶都感受到AI技術有機會帶來的革命。在無數寓言和長達數十年的研究投入後,AI終於要在更大范圍改變世界。(圖源:ChatGPT)

2024-03-18

大的語言理解和生成能力。xAI此前介紹,Grok-1將作為Grok背後的引擎,用於自然語言處理任務,包括問答、信息檢索、創意寫作和編碼輔助。未來,長上下文的理解與檢索、多模態能力都是該模型將會探索的方向之一。

2023-02-27

感受一番AI震撼,那麼2022年下半年以來,自ChatGPT和StableDiffusion掀起的AIGC浪潮,則是令主流互聯網用戶都感受到AI技術有機會帶來的革命。在無數寓言和長達數十年的研究投入後,AI終於要在更大范圍改變世界。(圖源:ChatGPT)

2023-02-27

感受一番AI震撼,那麼2022年下半年以來,自ChatGPT和StableDiffusion掀起的AIGC浪潮,則是令主流互聯網用戶都感受到AI技術有機會帶來的革命。在無數寓言和長達數十年的研究投入後,AI終於要在更大范圍改變世界。(圖源:ChatGPT)

2024-09-18

剛經歷過Runway從HuggingFace上刪庫跑路的風波。Runway以Stable Diffusion系列聞名,一夜之間把自傢開源模型清空,讓無數正在使用該模型的開發者陷入停擺。雖然目前github上QwenLM模型代碼已經恢復,但對於事件的原因,通義千問團隊並

2024-03-25

經營挑戰越來越大的地步。最終在兩天前“逼走”Stable Diffusion最核心的三名作者後,這傢明星公司終於擺脫它的CEO。混亂的Stability AIStability AI從成立以來,就幾乎沒有停止過各種drama的醜聞,而這些醜聞大部分來自於Mostaque本人

2023-04-14

松訪問Stability AI的文本到圖像基礎模型套件,包括Stable Diffusion,它能夠生成獨特、逼真、高質量的圖像、藝術、徽標和設計等。▲Stable Diffusion應用界面Bedrock最重要的功能之一是定制模型非常容易。客戶隻需Bedrock指向Amazon S3實