去年重返OpenAI的聯合創始人AndrejKarpathy,今天正式官宣離職!他剛剛發文稱,未來將開啟個人新項目,希望碰撞出新的火花。就在剛剛,OpenAI聯創Karpathy突然官宣離職!
大傢好,沒錯,我昨天剛從 OpenAI 離職。
首先要澄清的是,這並非因為任何特殊的事件、問題或紛爭導致(不過,那些陰謀論真的很有趣,歡迎大傢繼續提出)。
實際上,在 OpenAI 度過的最後一年真的很精彩 —— 團隊非常出色,同事們也非常棒,而且未來的發展路線圖也充滿激動人心的可能,我相信我們都有很多值得期待的事情。
我目前的計劃是專註於我的個人項目,看看能碰撞出什麼火花。對那些一直關註我的人來說,或許能猜到我接下來可能會做些什麼。
據 Information 獨傢報道稱,Karpathy 正開發一個全新的“AI 助手”,而且與 OpenAI 的研究主管 Bob McGrew 保持著密切合作。
雖然 ChatGPT 受到許多人的青睞,但 OpenAI 還希望推出一款可以自動執行復雜任務的 AI,比如填寫費用報告,並將其輸入會計軟件。
Karpathy 曾在特斯拉擔任 AI 高級總監、自動駕駛負責人,並於 2022 年 7 月宣佈離職。5 來年,他主要負責 Autopilot 半自動駕駛軟件的研發工作。
緊接著在 23 年 2 月,他再次官宣“重新加入 OpenAI”。
而現在,整整一年後,他再次官宣離開 OpenAI。OpenAI 的發言人 Kayla Wood 在一份聲明中表示,“Andrej 離開是為追求個人項目。我們對他的貢獻表示深深的感激,並祝福他未來一切順利。”目前,他的工作已經交由一位與他有著密切合作的資深研究員接手。
自去年 OpenAI 董事會解雇 Sam Altman 之後,便引發數名高層員工辭職。在董事會撤回其決定後,這些員工隨 Altman 一起返回公司。
現在,Karpathy 成為 OpenAI 首位離職的核心人物。那麼,他所說的專註個人項目,會是什麼呢?
AI 智能體?投身 AI 教育?
大概在去年 7 月份的時候,Karpathy 在一個線下分享活動中,就曾強調 AI 智能體的前景。
當他剛開始在 OpenAI 工作時(2016 年左右),業界潮流就是研究如何用強化學習的方法來改進 AI 智能體。比如,很多項目都在基於類似雅達利遊戲來制作 AI 玩傢。
Karpathy 想做的,則是一個適用范圍更廣泛的產品。不過受制於當時的技術,效果並不理想,於是他和 OpenAI 就改變方向,開始做大語言模型。
如今,AI 智能體重新成為一個非常有前途的方向。最簡單的例子就是,現在沒有人再像 2016 年那樣用強化學習的方法來研究 AI 智能體。
而從 OpenAI 離職,可能是他重新看到現在的技術突破,可能給 AI 智能體帶來的全新機會。
有趣的是,Karpathy 近段時間討論最多的話題,除 Vision Pro 之外,就是一篇關於“學習”的長文。
在這篇文章中,他深度探討什麼是有價值的學習,包括斯坦福 HAI 中心主任 manning 等人都進行轉發。
加上他 Youtube 頻道中的內容幾乎都是在教網友如何理解大模型和相關技術的內容。
所以他之後的內容也許和 AI 教育有非常大的聯系。
OpenAI 硬核網紅
在他的個人主頁上,自制一個工作經歷時間線,可以清楚地看到從 2017 年成為 OpenAI 聯創之後,加入特斯拉,再回歸 OpenAI 的所有過程。
過去一年來,離職特斯拉的 Karpathy 通過博客、發帖、講課等方式,逐漸在社交媒體上成為網紅。
他還在自己的 YouTube 平臺上發佈多種學習課程,目前已上線 8 個視頻。
就在他官宣離職的評論下方,網友關心道,是不是意味著未來有更多的 YouTube 視頻上線?Karpathy 本人表示:“兩天前我已經開始制作下一期視頻”!
著名 AI 機器學習研究員 Sebastian 同樣稱,“聽起來肯定還有更多的教育內容正在籌備中”。
看來離職後的 Karpathy,將會有大把的時間更新視頻。
此外,在社交平臺上,Karpathy 本人也經常會關註一些熱點研究,並發表自己的評論,有時也會提出自己的觀點。
比如,他曾把大模型比作成一種操作系統,因其能檢索文件、編寫代碼、運行程序,以及理解音頻、圖像和人類指令。
再比如,提出對“語言模型幻覺問題”的看法等等。
李飛飛高徒、“用愛發電”的技術大牛
不僅是技術網紅,Andrej Karpathy 更是一個不折不扣的技術大牛。
他先是在 2009 年於多倫多大學獲得計算機科學和物理學雙專業學士學位,而後在 2011 年於英屬哥倫比亞大學獲得碩士學位,研究是物理模擬數字的控制器。
在斯坦福讀博的時候,Karpathy 和導師李飛飛共同研究卷積 / 遞歸神經網絡架構及其在計算機視覺、自然語言處理及其交叉領域的應用。
師徒二人還一起設計斯坦福大學的視覺識別卷積神經網絡的新課(CS231n),Karpathy 親自擔任首任主講。而這正是斯坦福開設的第一門深度學習課程!
學生人數也從 2015 年的 150 名增長到 2016 年的 330 名,再到 2017 年的 750 名。如今,斯坦福大學的 CS231n 已經成為深度學習初學者,尤其是 CV 方向的初學者必看的一門基礎課。
除大牛李飛飛的“明星效應”,Karpathy 從課程設計到主講,親力親為,貢獻良多。
上學期間,他還跑去Google實習 —— 兩次,還是出國的那種,在Google參與深度學習與計算機視覺項目。
2015 年,他又去 DeepMind 的深度強化學習團隊實習一波。畢業之後,Karpathy 於 2016 年入職 OpenAI 並擔任研究科學傢,負責計算機視覺、生成建模和強化學習方面的深度學習。
“斯坦福博士生、李飛飛高徒、前 OpenAI 研究員及創始人之一”,這些頭銜也讓他在矽谷聲名鵲起。
果然,在 OpenAI 隻幹一年半,他就被馬斯克挖去特斯拉,接替蘋果前高管 Chris Lattner,擔任特斯拉人工智能和自動駕駛視覺總監(Director of AI and Autopilot Vision)。
由於 Karpathy 本人十分喜歡研究神經網絡,他在閑暇之餘寫不少技術博客,並在 Javascript 中開發多個深度學習庫(如 ConvNetJS、RecurrentJS、REINFORCEjs、t-sneJS)。
甚至,還被戲稱為 ImageNet 的“人肉參考”。
此外,他一有時間就會去維護自己“用愛發電”的 arxiv-sanity,一個可以在過去 6 年裡搜索和整理近 10 萬篇關於機器學習 arXiv 論文的網站。