GPT-4背後的開發者:七大團隊 三十餘位華人


始於Google,發跡於OpenAI,這是很多GPT-4貢獻者的職業軌跡。這個星期,OpenAI大模型GPT-4的發佈讓全球科技圈的技術競爭進入白熱化。幾天之內,ChatGPT、必應搜索和Microsoft365相繼接入GPT-4,微軟的AI應用瞬間比競爭對手拉開一個身位,甚至有人說,新的工業革命開始。

一方面我們被 GPT-4 的效果所震撼,一方面我們也迫不及待的想要解背後的技術,好奇它的訓練方法、使用的算力等。

但遺憾的是,OpenAI 並不 Open。在公開的論文(其實更像技術報告)中,OpenAI 明確地說,GPT-4 模型使用 RLHF 精調外,不會公開任何技術細節。


鑒於 GPT-4 等大型模型的競爭性與安全影響,本報告不包含有關架構(包括模型大小)、硬件、訓練計算、數據集構建、訓練方法等更多詳細信息。

不過,在此報告中,OpenAI 詳細列出貢獻者及其負責的工作內容。這值得我們細致研究。這幾百人的貢獻者名單與分類,能讓我解到 GPT-4 的成功背後包含哪些部門、技術分枝的努力。

在這篇文章中,我們對有代表性的貢獻者進行盤點,期待能為讀者帶來啟發。

研發人員占絕大多數

從組織架構的設置上看,GPT-4 幕後的研發團隊大致可分為七個部分:預訓練(Pretraining)、長上下文(Long context)、視覺(Vision)、強化學習 & 對齊(RL & alignment)、評估 & 分析(Evaluation & analysis)、部署(Deployment),以及其他貢獻者(Additional contributions)。

預訓練部分的工作細分為:

計算機集群擴展(Compute cluster scaling)

數據(Data)

分佈式訓練基礎設施(Distributed training infrastructure)

硬件正確性(Hardware correctness)

優化 & 架構(Optimization & architecture)

Training run babysitting

長上下文部分的工作細分為:

長上下文研究(Long context research)

長上下文內核(Long context kernels)

視覺部分的工作細分為:

架構研究(Architecture research)

計算機集群擴展(Compute cluster scaling)

分佈式訓練基礎設施(Distributed training infrastructure)

硬件正確性(Hardware correctness)

數據(Data)

對齊數據(Alignment Data)

Training run babysitting

部署 & 後訓練(Deployment & post-training)

強化學習 & 對齊部分的工作細分為:

數據集貢獻(Dataset contributions)

數據基礎設施(Data infrastructure)

ChatML 格式(ChatML format)

模型安全(Model safety)

Refusals

基礎 RLHF 和 InstructGPT 工作(Foundational RLHF and InstructGPT work)

Flagship training runs

代碼功能(Code capability)

評估 & 分析部分的工作細分為:

OpenAI Evals 庫

模型等級評估基礎設施(Model-graded evaluation infrastructure)

加速預測(Acceleration forecasting)

ChatGPT 評估

能力評估(Capability evaluations)

編碼評估(Coding evaluations)

真實世界用例評估(Real-world use case evaluations)

污染調查(Contamination investigations)

指令遵循和 API 評估(Instruction following and API evals)

新功能評估(Novel capability discovery)

……

細讀貢獻者名單,不難發現,GPT-4 項目團隊的成員通常“身兼數職”。對於希望追趕 ChatGPT 的科技公司來說,OpenAI 提供的部門架構樣板提供一些可以學習的思路。另外,它對於 AI 領域人才的未來發展方向或許也有一些啟示。

在 ChatGPT 發佈之後,OpenAI 在人才招聘方面也做出一些調整,招募數十名前Google和 Meta 員工來創建人工智能聊天機器人。

在 OpenAI 上,Google作為“矽谷黃埔軍校”的名頭算是坐實:根據 LeadGenius 和 Punks & Pinstripes 的數據顯示,該公司的 300 多名員工(數據截止到 2023 年 1 月)中有許多來自Google和 DeepMind 的母公司 Alphabet。數據顯示,OpenAI 目前雇傭約 59 名Google前員工和約 34 名 Meta 前員工,同時包括幾名蘋果和亞馬的前遜員工。


鑒於 OpenAI 在 GPT-4 發佈的第一時間就公開所有貢獻者名單,機器之心整理一部分參與工作的華人學者。如果遺漏,歡迎補充。

預訓練組

Trevor Cai

Trevor Cai 是 GPT-4 項目中吞吐量團隊的負責人。Trevor Cai 本碩畢業於南加州大學,2022 年 3 月加入 OpenAI。在加入 OpenAI 之前,Trevor Cai 曾在 DeepMind 工作近 5 年,擔任軟件工程師。

袁啟明


袁啟明(Qiming Yuan)是 GPT-4 項目數據集來源和處理團隊的負責人。袁啟明本科畢業於清華大學,碩士畢業於得克薩斯大學奧斯汀分校,2018 年加入 OpenAI。此前,袁啟明曾在微軟工作近三年。

Che Chang

Che Chang 作為 OpenAI 的副總法律顧問參與 GPT-4 的研發,他博士畢業於美國西北大學,2021 年加入 OpenAI,此前在 AWS 領導人工智能 / 機器學習和市場業務的法律團隊。最近一段時間,OpenAI 的法律團隊還在招聘 AI 產品顧問。

歐陽龍

歐陽龍 2019 年加入 OpenAI,擔任研究科學傢。Long Ouyang 本科畢業於哈佛大學,博士畢業於斯坦福大學,曾在斯坦福大學任博士後研究員。歐陽龍也參與研發 ChatGPT 相關的技術項目,他還是 InstructGPT 論文的第一作者。

翁麗蓮


翁麗蓮(Lilian Weng)是 OpenAI 人工智能應用研究的負責人,2018 年加入 OpenAI,在 GPT-4 項目中主要參與預訓練、強化學習 & 對齊、模型安全等方面的工作。

Tao Xu

Tao Xu 2019 年加入 OpenAI,先後畢業於北京大學、康奈爾大學。Tao Xu 曾在微軟的必應機器學習研究組工作四年。

Jie Tang


Jie Tang 在加州大學伯克利分校獲得計算機科學博士學位,導師是 Pieter Abbeel。加入 OpenAI 前,他曾在初創公司和 Dropbox 工作約四年時間。Jie Tang 本科就讀於哈佛大學,2008 年獲得計算機科學和經濟學學士學位。

Ben Wang

Ben Wang 目前是賓夕法尼亞大學本科生,2021 年加入 OpenAI。Ben Wang 參與 GPT-4 項目的預訓練和長上下文方面的工作。

視覺組

Mark Chen


Mark Chen 2018 年加入 OpenAI,任研究科學傢,畢業於麻省理工學院(MIT)。他參與 GPT-4 項目中視覺方面的工作。

Casey Chu

Casey Chu2020 年加入 OpenAI,畢業於斯坦福大學計算數學專業。Casey Chu 的主要研究方向是多模態 AI 系統,他在 GPT-4 項目中主要參與視覺方面的工作。

胡繩麗


胡繩麗(Shengli Hu)2022 年加入 OpenAI,她碩士畢業於復旦大學、博士畢業於康奈爾大學。她的研究興趣在於社會科學、計算語言學、計算機視覺和語音的跨學科研究。胡繩麗曾在自然語言處理、計算機視覺、語音和應用統計方面的頂級會議和期刊上發表過多篇論文,包括 CVPR、ACL、EMNLP、ECCV 等等,並獲得過最佳論文獎提名。

Tianhao Zheng

Tianhao Zheng2022 年加入 OpenAI。他本科畢業於清華大學,博士畢業於得克薩斯大學奧斯汀分校。再加入 OpenAI 之前,他曾先後在英偉達、Google、Twitter 工作過。Tianhao Zheng 在 GPT-4 項目中主要參與視覺方面的工作。

翁傢翌


翁傢翌(Jiayi Weng)2020 年在清華大學計算機科學與技術系獲得本科學位。本科在朱軍教授組學習期間,主要參與強化學習算法庫 Tianshou(天授)的開發,該項目已獲得 5.9K GitHub Star。CMU 碩士畢業後,翁傢翌加入 OpenAI 任研究工程師。

強化學習 & 對齊組

Chong Zhang


Chong Zhang 2010 年就讀浙江大學計算機系,2014 年在加拿大西蒙弗雷澤大學獲得學士學位,隨後在Google、蘋果公司擔任工程師。2019 年就讀加州大學洛杉磯分校,2021 年獲得計算機碩士學位後,在 OpenAI 工作至今。

Shengjia Zhao


Shengjia Zhao2016 年本科畢業於清華大學,2022 年在斯坦福大學獲得計算機科學博士學位,師從 Stefano Ermon,隨後加入 OpenAI。

Stephanie Lin


Stephanie Lin 本科和碩士期間分別就讀於麻省理工學院和佐治亞理工學院。加入 OpenAI 之前,她曾是牛津大學研究學者。

Tong Mu


Tong Mu 本科就讀於加州大學洛杉磯分校,後在斯坦福大學獲得博士學位。2022 年加入 OpenAI。

Jeff Wu


Jeff Wu 本碩均就讀於麻省理工學院。他是初創公司 Terminal.com 的第二名員工,該公司被收購後,他曾在Google工作約 2 年的時間。2018 年,Jeff Wu 加入 OpenAI。

肖凱


肖凱(Kai Xiao)在麻省理工學院獲得學士學位和博士學位,曾在微軟、DeepMind 等機構實習。2022 年 9 月加入 OpenAI。

Kevin Yu


Kevin Yu 在加州大學伯克利分校獲得物理學學士學位及神經科學博士學位。2022 年加入 OpenAI。

Haozhun Jin


Haozhun Jin2013 年本科畢業於清華大學計算機系,2015 年獲得斯坦福大學碩士學位。2015 年到 2018 年,他在 Meta 擔任軟件工程師,2023 年 1 月加入 OpenAI。

顧世翔


顧世翔是出生於日本的加拿大華人,曾是Google研究院研究科學傢,研究領域包括深度學習、強化學習、概率機器學習和機器人技術。他擁有劍橋大學和馬普所智能系統研究所的機器學習博士學位,在多倫多大學獲得工程科學學士學位,論文指導教授為 Geoffrey Hinton。

評估 & 分析團隊

Alvin Wang


Alvin Wang2022 年 8 月加入 OpenAI,為評估 & 分析團隊核心貢獻者之一。此前他曾在 VMware、Tesla 等公司工作過幾年。2013 年本科畢業於南加州大學。

Angela Jiang


Angela Jiang 於 2021 年 11 月加入 OpenAI,在微軟和Google有過短暫的工作經歷,她本科畢業於西北大學,於 CMU 獲得博士學位。

Jason Wei


Jason Wei 於今年 2 月加入 OpenAI,主要研究 ChatGPT。此前他是Google Brain 的高級研究科學傢,在那裡推廣思維鏈提示,並共同領導指令調優工作。他在Google和 Jeff Dean 等人共同撰寫關於大模型湧現能力的論文。

Juntang Zhuang


Juntang Zhuang 於 2022 年 4 月加入 OpenAI,此前曾在Google實習四個月。他本科畢業於清華大學,碩士畢業於耶魯大學,並在耶魯大學拿到博士學位。他的研究主要是為生物醫學應用開發新的機器學習技術。

Derek Chen


Derek Chen 於 2021 年加入 OpenAI,是一名技術安全分析師。他畢業於美國東北大學,此前在Google工作過不到一年的時間。

宋颺


宋颺(Yang Song)目前在 OpenAI 擔任研究員,並將於 2024 年 1 月加入加州理工學院電子系(Electrical Engineering)和計算數學科學系(Computing and Mathematical Sciences)擔任助理教授。宋颺本科畢業於清華大學數理基礎科學班,2022 年獲得斯坦福大學計算機科學博士學位,師從 Stefano Ermon。他的主要研究方向是機器學習,包含深度生成式模型(deep generative models),概率推理(probabilistic inference),人工智能安全性(AI safety),以及人工智能方法與其他科學領域的交叉(AI for science)。他是擴散模型(diffusion models)和分數匹配生成式模型(score-based generative models)的主要奠基人之一。他發表在 NeurIPS 2019 的工作首次在圖片生成質量上實現對生成對抗網絡(GAN)的超越。博士期間他的一作論文獲得 ICLR 2021 傑出論文獎,相關研究獲得蘋果獎學金、摩根大通獎學金,以及 WAIC 雲帆獎。

模型部署

Michael Wu


Michael Wu 2021 年加入 OpenAI,主要的工作是人工智能應用研究。Michael Wu 畢業於 MIT,是 GPT-4 項目的推理研究負責人。

Andrew Peng


Andrew Peng 2022 年底加入 OpenAI,他曾經在微軟工作兩年。Andrew Peng 畢業於加州大學伯克利分校,主要參與 GPT-4 API 和 ChatML 部署方面的工作。

吳雪楓


吳雪楓(Sherwin Wu)2022 年加入 OpenAI,主要的工作是人工智能應用及 API 開發。吳雪楓畢業於 MIT,在 GPT-4 項目中主要參與 API 開發和 ChatML 部署方面的工作。

Jason Chen


Jason Chen 本科就讀於麻省理工學院,2007 年到 2014 年期間在Google擔任軟件工程師,2014 年到 2019 年任職於初創公司 Apptimize,2019 年到 2023 年 2 月任職於 Argo AI,2023 年 2 月加入 OpenAI。

其他貢獻者

Xin Hu


Xin Hu 於 2022 年 6 月加入 OpenAI,主要負責開發用於雲安全、k8s 安全、認證 / 授權和訪問控制的安全服務和平臺。

此外,在 GPT-4 的開發上 OpenAI 也對微軟表示感謝,特別是微軟 Azure 服務為模型訓練提供基礎架構設計和管理方面的支持,微軟必應團隊、安全團隊也對 GPT-4 的部署等工作作出貢獻。


相關推薦

2024-03-20

的共識內容:一、人工智能風險紅線人工智能系統不安全的開發、部署或使用,在我們的有生之年就可能給人類帶來災難性甚至生存性風險。隨著數字智能接近甚至超越人類智能,由誤用和失控所帶來的風險將大幅增加。在過去

2024-02-19

ora是如何實現如此顛覆性的能力的呢?這就不得不提到其背後的兩項核心技術突破——SpacetimePatch(時空Patch)技術和DiffusionTransformer(DiT,或擴散型Transformer)架構。《每日經濟新聞》記者查詢這兩項技術的原作論文發現,時空P

2024-02-24

盛宴中絕對的關註焦點。而事實上,除英偉達,這場狂歡背後還有一個贏傢,即美籍華人梁見後(CharlesLiang)創立的超微電腦(SuperMicroComputer,NASDAQ:SMCI)。超微電腦總部位於美國加州聖何塞,主營產品包括服務器、存儲系統

2023-04-19

,MiniGPT-4基本也都有。這下網友直接把Demo服務器擠爆,開發團隊連開4臺備用服務器,都有幾十人在排隊。不等OpenAI,現在就能玩除研究團隊給出的示例,網友也用MiniGPT-4玩出各種花樣有人上傳自己畫的畫,讓AI評價評價。有人

2023-11-08

奧特曼所言開發者的需求是驅動OpenAI降價的根本原因,這背後還有技術、商業等多重因素。從技術降本看,根據外媒爆料,OpenAI此次可能將Stateless API變為Stateful API,奧特曼此前曾表示,基於Stateful API,用戶不用再“重復一遍一

2023-11-08

的其他玩傢“留活路”,是壟斷的象征。想要搞明白OpenAI背後的大棋,還要從更宏觀的視角來看這場發佈會。當我們把自己從OpenAI更新的震懾中抽離出來,冷靜地去看待這場發佈會,會發現OpenAI悄然間已經集齊大模型(底層)+

2023-03-15

頁。當國內還在熱議人工智能對話大模型產品ChatGPT時,背後核心預訓練模型技術GPT卻突然重磅升級。北京時間3月15日凌晨,創造出ChatGPT的美國 AI 公司OpenAI 正式對外發佈GPT-4。據悉,GPT-4是新一代多模態大模型,支持圖像和文本

2023-03-25

們的數據隻停留在2021年9月之前。而聯網之後,這一層最後的封印將被解除,人工智能的超能力將在互聯網的加持下被徹底釋放。不過,如果你僅僅把重點放在“聯網”上,那可能就低估OpenAI此次更新的意義。除聯網之外,OpenAI

2023-11-07

下,要推出這樣一項服務,OpenAI大概率也已經盤算好敗訴後的退路。說到錢,就不得不提到OpenAI一直以來的大金主:微軟。坊間一直流傳著兩傢不合的傳聞。Sam Altman的演講中,隻邀請微軟CEO Satya Nadella一個嘉賓,似乎是在向

2024-02-13

T-4脫穎而出。更多細節在此。基於LLM的自動駕駛系統而這背後的實現,主要來自於一個框架Talk2Drive。這個框架主要有三個特點:1、它將人類口頭命令轉換為文本指令,然後由雲端的大模型來處理。在此過程中會用到一些語音識

2023-11-11

說,當前的年化收入相比去年增長高達45倍。無限榮光的背後,OpenAI儼然成為AI科技浪潮中,被追趕的對象。今年3月,國內科技巨頭公司掀起一場“百模大戰”,幾乎各大廠商都在試圖拉近與ChatGPT的距離。即便是行業引領者,Ope

2022-10-02

和夏令營(iD Tech Camps)兼職當老師,教孩子們使用樂高開發出來的NXT-G語言對機器人進行編程。不光如此,受加州大學洛杉磯分校無機化學博士Eugene Mizusawa的邀請,她前往初高中給女孩子上課,啟發她們對機器人的興趣。曾經在

2024-04-10

PT中使用。不過 OpenAI 也宣佈該版本面向部分使用 API 調用的開發者們開放,所以如果你已經有 OpenAI API 那麼也可以通過 API 付費調用 Vision 版。GPT-4 Turbo with Visio 繼承 GPT-4 Turbo 的所有特性,包括支持 128K 上下文窗口和截止到 2023

2023-11-05

發者大會“OpenAIDevDay”。屆時OpenAI團隊成員將與全球各地的開發者匯聚一堂,預覽全新的AI工具。當時OpenAI首席執行官SamAltman表示,此次開發者大會不會發佈GPT-5或GPT-4.5或類似大模型。即使如此,會上發佈的AI工具仍然勾起人們