特斯拉自動駕駛之父離職教“網課”,AI大佬原來都這麼熱愛授業解惑


幾年前,斯坦福大學博士生AndrejKarpathy做一件令AI社區非常敬佩的事情:在學校裡創辦一門深度學習本科課程,並且將視頻全部免費公開。作為深度學習的早期研究者和教育者之一,Karpathy賭對方向。

文/杜晨

經過十多年的快速發展和技術創新,現在深度學習技術已經驅動著搜索、圖像識別、社交網絡、工業自動化、自動駕駛等諸多關鍵領域和產業。

由於研究成就突出,Karpathy自己也成為應用AI技術發展的受益者,走出學術進入業界的第一份工作,就是特斯拉的特斯拉出任AI部門總監,領導 Autopilot以及整個特斯拉自動/輔助駕駛技術項目的研發,並帶領公司深入到機器人等更多前沿領域。

上個月,Karpathy宣佈從特斯拉正式離職。

當人們還在關註他下一站要去哪,他卻毫無意外地“重操舊業”,當起“老師”。

/把“錘子”交到每個人的手上 /

就在上周,Karpathy重新啟用註冊多年但從沒用過的 YouTube“小號”,發佈一條長達2個半小時的教學視頻,題為《手把手帶你入門神經網絡和反向傳播:構建micrograd”》。

他表示,關於反向傳播(神經網絡的基礎算法之一)以及構建神經網絡的工作,這條視頻是目前為止門檻最低、最全面的講解。他還宣稱,隻要觀眾對 Python有基礎解,並且還記得一點高中水平的微積分,就可以輕松入門:

“如果看完還不解反向傳播和神經網絡的核心,那我就直播吃鞋”

圖片來源:AndrejKarpathy

通過這門課,Karpathy用基本的Python編程方法,以及他自己開發的Micrograd引擎,帶著大傢完成神經網絡構建、編寫損失函數、手動調優等基礎操作,並且在過程中對反向傳播等關鍵知識進行系統的介紹。

至於授課風格,Karpathy也是非常理解當代年輕工程師在寫代碼時候的煩惱,貫徹“talkischeap,showmethecode”的理念:整堂課的大部分時間基本就是在直播自己的屏幕畫面,手把手教大傢寫代碼……

圖片來源:AndrejKarpathy/YouTube

Karpathy曾在多倫多大學、斯坦福大學就讀,師從的GeoffHinton、李飛飛教授都是當今深度學習的領軍人物。他也是OpenAI的創始成員之一,曾在早期的Google大腦、GoogleResearch、DeepMind等知名研究機構實習。

作為深度學習領域的知名學者和從業者,Karpathy出鏡相當頻繁,經常在 CVPR、NeurIPS 等知名學術會議的上發表論文和演講,還曾作為英偉達Geforce技術大會主演講嘉賓。

頗為搞笑的是,在2014年,他曾經以自己的“血肉之軀”,在ImageNet挑戰賽上對一個卷積神經網絡發起挑戰,並且獲得勝利,因此被學術界和行業裡戲稱為ImageNet的“人類基準”(thehumanbenchmarkofImageNet)。

圖片來源:AndrejKarpathy

然而很多人對Karpathy印象最深,最感激他的,反而是他在博士就讀期間做的一件大善事:

創辦CS231n,斯坦福第一門面向本科生的深度學習課程。

圖片來源:AndrejKarpathy、斯坦福大學

CS231n以計算機視覺為主要方向,深入淺出探討深度學習技術,創課第一年就有總計150名學生報名,到2016年翻一倍,次年又再翻一倍。目前這門課已經成為斯坦福校內所有院系裡報名人數最多、最受歡迎的課程之一。課程的TA都有16人;和Karpathy一起創課的李飛飛,至今仍在擔任主講人。

更重要的是,從創課的第二年,Karpathy 就把CS231n的授課視頻、講義、作業、筆記等大量相關資源全部公開,放在互聯網上。不止是報名的學生,就算沒報名上的、其它院校的學生,乃至於世界上的任何人,隻要有網絡,就可以免費上課。

再往前推五年,隨著Udacity、Coursera等公司的成立,“慕課”(MOOC)的理念早已廣為人知。在這些知名公司的平臺上,也有著不少計算機科學和機器學習方面的課程。

然而CS231n的橫空問世,特別是它更加先進和實時的課程設計,以及沒有任何商業味道的開放屬性,使其成為前沿深度學習技術向全社會普及的關鍵節點。

圖片來源:AndrejKarpathy、斯坦福大學

關於為何要免費開放課程,Karpathy曾經表示,自己在當時非常強烈地感覺到深度學習將會成為具有巨大革命性意義的技術,有望在社會的各方各面得到廣泛運用,就像一把好用的錘子。

但是在當年,很多人連錘子都“買不起”,更別提解它的能力和掌握它的用法——是他決定站出來,做這個給大傢免費發放錘子的人。

這門課最有意思的體驗,在於它沒有一個提前定好、絕不偏離的課程設置:

“別的科目上課,講的可能是19世紀的知識。在我們的課上,經常今天講的論文是上周,甚至昨天剛剛發表的,”Karpathy說到,“我們講的不是核物理,不是上太空,你隻需要基本的微積分和代數知識,就可以聽懂我們的課程,解和掌握當下正在發生的新事物。每次的課程都在改變,感受非常不一樣,但是大傢都非常享受這樣的體驗。”

由於創課當時Karpathy還是一位博士生,當老師確實占用他大量的時間和精力。每年教兩次,每次四個月,一到上課的那段時間,他都不得不開動120%的精力,甚至博士學位的相關研究工作都不得不停擺。

“盡管如此,我還是覺得這門課是我讀博期間的高光時刻。”

AndrejKarpathy 圖片來源本人

如果簡單瀏覽一遍Karpathy的履歷,一般人可能不會以為他是一個教學型的學者。但實際上他真的特別熱衷於傳道授業解惑,特別是給大傢分享他本人的學習結果,和掌握技能的獨特經驗。

他曾經以博士生過來人的身份寫過一些經驗談,發表在斯坦福官網以及個人播客上。比如對於本科生備戰考試,他真誠告誡大傢“熬夜不值”、“多找多換TA”、“備考初期自學,考前多交流”等。而對於糾結是否讀博的學生,他專門寫過一篇“博士生存指南”萬字文,從前期準備、導師選擇、研究課題、著述發表、學術演講等諸多方面,分享大量的指導思想和具體經驗……

圖片來源:AndrejKarpathy

如果你以為他隻講深度學習,那就太小看人傢:

對於非本專業的內容,他也會用自己的業餘時間,做長期、系統性的研究和測試,然後寫成文章。比如他在GitHub賬號上曾經寫過一篇“生物黑客”的文章,分享自己在體育鍛煉、斷食、血液檢測、體能藥物、睡眠研究等方面做過的測試經驗。

少為人知的是,Karpathy還是一個專業的魔方老師……

在解魔方這件事上他有一個alter ego,名叫 Badmephisto。他有一個專門講授魔方知識的網站,做過一個教你如何解魔方的app(iPhone&Android),還在YouTube上傳大量教學視頻,總共有900多萬觀看量……

老哥可真是上課上癮啊……

Karpathy在Google實習期間內部渠道搞到一臺GoogleGlass,錄制這段在自行車上解魔方的視頻  動圖來源:AndrejKarpathy

/AI大佬都愛講課 /

值得註意的是,不止Karpathy,深度學習/AI領域的大佬級別人物,都特別愛“講課”。

這麼說確實有點廢話文學……因為這些大佬當中,很多人本身就在知名院校有著常規或終身教職,一部分進入工業界的人士,之前也有很強學術和教學背景。但他們即使現在在工業界身居高位忙到不行,仍然對深度學習知識的傳播和普及充滿熱情。

比如Karpathy在多倫多大學的老師GeoffHinton教授。他是反向傳播等深度學習核心算法的發明人,深度學習領域的“三劍客”之一,圖靈獎獲得者。有這樣一種對於他的評價:當其他人還在質疑機器/深度學習的時候,Hinton在多倫多一邊默默地教書,一邊持續著研究推進,終於以一己之力復活機器學習研究和行業,堪稱深度學習之父。

自從創立的DNNResearch公司於2013年被Google收購,Hinton在Google一直有職位,但實際上他的主要研究工作還是在多倫多大學的計算機科學系。雖然近年來他已經不怎麼講常規課程,但他仍然會花很多時間和精力,指導學生研究和參與論文寫作。並且,他也參與錄制一些深度學習神經網絡方面的免費網課內容。

截圖來源:Coursera

“三劍客”的另外兩位成員YoshuaBenjio和YannLeCun,也有各自的教職。

Bengio是蒙特利爾大學教授,也創辦Mila人工智能研究所並擔任科學總監。他至今仍在學校和Mila研究所帶領和指導著大量的研究生、博士生和博士後研究員。他經常參加各種外部機構的演講和授課邀請,之後的視頻也都會公開在網上。

LeCun在Meta擔任副總裁兼首席AI科學傢,還是紐約大學電氣和計算機工程系教授。他曾經誠懇地表示過,自己可能沒有辦法及時查收和回復學校郵箱和電話留言。不過,至少去年他還在紐約大學的數據科學中心(NYU-CDS) 教深度學習的相關課程。另外因為疫情等原因,NYU-CDS 的所有由LeCun教授的深度學習課程,在2020年也都完全線上化並免費公開:

視線轉回國內,前幾年離職回校教書的原騰訊AILab主任張潼,也是一個有趣的例子。他是機器學習領域知名的國際專傢,曾經在美國大學拿到終身教職,在IBM研究院、雅虎研究院、百度IDL擔任研究和管理方面的高級別職位,還是ICML、NIPS等一系列國際頂級學術會議的主席或領域主席。

然而可能是因為更享受教書和學術界的環境,張潼在2019年初離開騰訊AILab,來到港科大數學系和計算機科學工程系,直接就拿到專為特別傑出且成就非凡的學者才設立的講席教授(chairprofessor)資格。

當然他也沒有完全離開業界,在港科大和創新工場之間牽線搭橋,幫助兩傢機構成立聯合實驗室,專註於基礎科研。現在的他,在港科大做研究、帶學生,這一學期還教COMP6211E和MATH6450J兩個和機器學習優化相關的課程。

這些熱愛傳道授業解惑的頂尖學者讓我們看到:即便在高度商業化的今天,一項技術、一種知識,仍然可以通過教育這種古典的形式,加上“免費網課”的創新手段,來完成更高效、更具公益性的普及。

這樣的大佬們,請多來點,不要停。


相關推薦

2022-07-29

的母校:代季峰分別於2009年和2014年先後在清華大學獲得自動化專業學士學位和博士學位。據接近代季峰的相關人士透露,他的回歸舉動與個人學術追求有關,而非傳言中的“套現離場”:一則高管手中期權一般都要按限定條件

2023-03-30

I的競爭。馬斯克為什麼簽署公開信?本來是AI的支持者,特斯拉曾舉辦兩個人工智能日,向投資者介紹該公司的AI 工作,並招募頂級AI科學傢為這傢電動汽車制造商工作。那馬斯克為什麼會簽署反對的公開信?分析指出,馬斯克

2022-08-27

股神巴菲特買一傢自動駕駛卡車公司。據彭博社報道,伯克希爾·哈撒韋公司旗下的Pilot公司,於本周收購一傢名為KodiakRobotics的無人駕駛卡車初創公司。伯克希爾·哈撒韋公司是由巴菲特創辦於1965年,是一傢主營保險業務,在其

2022-07-13

大疆,擔任首席工程師。2018 年,陳亦倫加入華為,擔任自動駕駛部門首席科學傢,負責感知技術。目前華為車 BU 下設 15 個二級部門,包括智能駕駛產品部、MDC 產品部、智能車控產品部、智能車雲產品部、智能駕駛產品部、智

2022-10-20

,Mobileye自動駕駛芯片一哥的位置實在難保。包括蔚來、特斯拉、理想在內的一眾終端廠商,紛紛拋棄Mobileye。特斯拉更不必說,在英特爾收購Mobileye之後,便與Mobileye分手,開始采用FSD芯片。理想在2021年也將EyeQ4換裝成地平線征

2024-02-29

,也是紛紛表達自己的觀點。最搞笑的是馬斯克,當年在特斯拉最困難的時候,他還問過蘋果的收購意向。現在蘋果不造車,馬斯克的回應也是相當的抽象……按理來說,果子作為一個全球市值第二的科技公司,肯定是又有錢又

2022-09-15

特斯拉AI人工智能與Autopliot負責人Andrejkarpathy在不久前宣佈辭職,這讓外界將視線集中在自動駕駛行業頻現高管離職的問題之上。作為近年來特斯拉自動駕駛業務離職高管中級別最高的一員,Andrejkarpathy公開表示:“自己可能回到

2022-12-24

生鋼鐵俠”的UP主身份,更新不少大項目——無論是真·自動駕駛自行車:還是能給葡萄縫針的機械臂,都是他這兩年用業餘時間做出來的。消息一出迅速上知乎熱搜,種種猜測也紛至沓來。有知乎知情人士表示:稚暉君離職並

2022-07-14

北京時間7月14日消息,特斯拉人工智能(AI)業務負責人安德烈·卡帕斯(AndrejKarpathy)周三宣佈,他將不再為特斯拉工作。此前,他領導特斯拉自動輔助駕駛系統(Autopilot)的開發。卡帕斯在推特上宣佈離職消息。“過去5年,很榮幸能

2024-08-21

迎來從業人員的規模爆發。尤其在AI大模型技術到來後,自動駕駛行業同樣迎來關鍵發展期,從事自動駕駛行業的公司越來越多,自動駕駛的能力也越來越強。招聘軟件上,搜索關鍵詞“自動駕駛”“無人車安全員”,與去年相

2022-07-17

段。小米汽車工廠施工現場 圖源/時代財經攝作為參考,特斯拉的上海超級工廠,從2019年1月7日奠基到2019年10月23日正式落成投產,僅用10個月不到的時間。即便是,經開區給小米的自建工廠一路開綠燈,按照特斯拉創下的10個月

2023-12-08

據媒體周四(12月7日)報道,知情人士透露,特斯拉公司Dojo超級計算機的項目負責人GaneshVenkataramanan已經於11月份離職。在過去五年中,Venkataramanan一直在領導Dojo項目的推進工作,加入特斯拉前他在AMD擔任近15年的長期工程總監

2022-07-17

擔任蘋果公司 Mac 硬件工程副總裁的Doug Field。Field 剛剛在特斯拉擔任五年的高管,包括設計其旗艦車型Model 3以及生產技術監管。許多蘋果員工認為這是蘋果發佈自動駕駛汽車的最好時機。然而在 2021 年 9 月,他宣佈將離開蘋果

2024-07-27

廠商在發展上似乎走錯方向,因為自動駕駛的代表應該是特斯拉這樣的。在這個競爭中,我們看到中國企業比亞迪、蔚來、理想等等一大群企業的崛起,但是我們走的模式和路徑,跟特斯拉比較,特斯拉還是一個人工智能驅動,