11月15日,創新工場CMO發朋友圈回應Yi大模型“抄襲LLaMA”事件,她表示零一萬物發佈Yi-34B模型訓練的說明,回應對於模型架構的探討輿論。創新工場CMO發文表示,沿用行業演進漸成通用、生態擁抱的基礎架構就成“套模、山寨“?(就像手機app開發者都得益於iOS、Android的共通架構)。零一萬物會持續從社區中虛心學習,持續進步。
根據說明內容顯示,零一萬物從零開始訓練Yi-34B和Yi-6B模型,並根據實際的訓練框架重新實現訓練代碼,用自建的數據管線構建高質量配比的訓練數據集(從3PB原始數據精選到3T token高質量數據)。
在零一萬物初次開源過程中,我們發現用和開源社區普遍使用的LLaMA 架構會對開發者更為友好,對於沿用LLaMA部分推理代碼經實驗更名後的疏忽,原始出發點是為充分測試模型,並非刻意隱瞞來源。零一萬物對此提出說明,並表達誠摯的歉意,我們正在各開源平臺重新提交模型及代碼並補充LLaMA 協議副本的流程中,承諾盡速完成各開源社區的版本更新。