編者註：OpenAI首席科學傢IlyaSutskever的X賬號可能是科技界名人裡最特別的那種，他很少極少分享自己的個人生活，除轉發公司產品鏈接，他的推文通常都是一些零碎的閃念和思考：“自我是成長的敵人”；“GPU就是新時代的比特幣”；“如果你把智力看得比人類所有其他品質都重要，那麼你會過得很糟糕”；“生活和商業中的同理心被低估”；“完美毀掉很多完美的好東西。”
更多時候，是為（通用人工智能）AGI站臺，正如他的X簽名：“打造眾多喜歡人類的AGI們”（towards a plurality of humanity loving AGIs）。
在現實生活裡同樣如此，他不熱衷社交，很少在媒體前拋頭露面。唯一能讓他感到興奮的東西，就是人工智能。
近期，Ilya Sutskever接受《麻省理工科技評論》記者Will Douglas Heaven專訪，他在采訪中談到OpenAI早年的創業史、實現AGI的可能性，還介紹OpenAI未來在管控“超級智能”方面的計劃，他希望讓未來的超級智能，可以像父母看待孩子那樣看待人類。
以下為正文：
伊爾亞·蘇茨克維（Ilya Sutskever）低頭沉思。他雙臂張開，手指放在桌面上，就像音樂會上即將彈奏第一個音符的鋼琴傢。我們靜靜地坐著。
我是來和OpenAI的聯合創始人兼首席科學傢Sutskever會面的，他的公司位於舊金山傳教區一條不起眼的街道上，辦公樓沒有任何標志，我想聽聽他一手打造的這項顛覆世界的技術的下一步計劃。我還想知道他的下一步計劃，尤其是，為什麼建立他公司的下一代旗艦生成模型不再是他的工作重點。
Sutskever告訴我，他的新工作重點不是制造下一代GPT或圖像制造機DALL·E，而是研究如何阻止人工超級智能（他認為這是一種假想的未來技術，具有先見之明）的失控。
Sutskever還告訴我很多其他事情。他認為ChatGPT可能有意識（如果你瞇著眼睛看的話）。他認為，世界需要清醒地認識到他的公司和其他公司正在努力創造的技術的真正威力。他還認為，總有一天人類會選擇與機器融合。
Sutskever說的很多話都很瘋狂。但不像一兩年前聽起來那麼瘋狂。正如他自己告訴我的那樣，ChatGPT已經改寫很多人對未來的預期，把"永遠不會發生"變成"會比你想象的更快發生"。
他說：
“重要的是要討論這一切的方向。”
他在預測AGI（通用人工智能，像人類一樣聰明的AI）的未來時，仿佛它就像另一部iPhone一樣信心滿滿：
“總有一天，AGI會實現。也許來自OpenA。也許來自別的公司。”
自去年11月發佈紅極一時的新產品ChatGPT以來，圍繞OpenAI的討論一直令人印象深刻，即使在這個以炒作著稱的行業也是如此。沒有人不會對這傢市值800億美元的初創公司感到好奇。世界各國領導人尋求（且得到）和CEO Sam Altman私人會面。ChatGPT這個笨拙的產品名稱在閑聊中不時出現。
今年夏天，OpenAI的首席執行官Sam Altman花大半個夏天的時間，進行長達數周的外聯之旅，與政客們親切交談，並在世界各地座無虛席的會場發表演講。但Sutskever並不像他那樣是個公眾人物，他也不經常接受采訪。
他說話時深思熟慮，有條不紊。他會停頓很長時間，思考自己想說什麼、怎麼說，把問題像解謎一樣反復推敲。他似乎對談論自己不感興趣。
他說：
“我的生活很簡單。我去上班，然後回傢。我不做其他事情。一個人可以有很多社交，可以參加很多活動，但我不會。”
但當我們談到人工智能，談到他所看到的劃時代的風險和回報時，他的眼睛亮起來：
“AI將萬世不朽、震撼整個世界。它的誕生如同開天辟地。”
越來越好，越來越好
在一個沒有OpenAI的世界裡，Sutskever仍將載入人工智能史冊。作為一名以色列裔加拿大人，他出生在前蘇聯，但從五歲起就在耶路撒冷長大（他至今仍能說俄語、希伯來語和英語）。之後，他移居加拿大，在多倫多大學師從人工智能先驅傑弗裡·辛頓（Geoffrey Hinton）。(Sutskever不想對辛頓的言論發表評論，但他對超級智能災難的關註表明他們是同道中人）。
辛頓後來與楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）分享圖靈獎，以表彰他們在神經網絡方面的研究成果。但當Sutskever在2000年代初加入他的團隊時，大多數人工智能研究人員都認為神經網絡是一條死胡同。辛頓是個例外。
Sutskever說：
“這就是生成式人工智能的開端。真的很酷，隻是還不夠好。”
Sutskever對大腦非常著迷：它們是如何學習的？以及如何在機器中重新創建或至少模仿這一過程？和辛頓一樣，他看到神經網絡的潛力，以及辛頓用來訓練神經網絡的試錯技術，即深度學習。Sutskever說：“它變得越來越好，越來越棒。”
2012年，Sutskever、Hinton和Hinton的另一名研究生Alex Krizhevsky建立一個名為AlexNet的神經網絡，經過訓練，他們識別照片中物體的能力遠遠超過當時的其他軟件。這是深度學習的大爆炸時刻。
在經歷多年的失敗之後，他們終於證明神經網絡在模式識別方面的驚人功效。你隻需要足夠多的數據（他們使用的，是普林斯頓大學研究員李飛飛自2006年以來一直在維護的ImageNet數據集中的一百萬張圖片）和強到爆炸的算力。
算力的提升來自於英偉達公司生產的一種名為圖形處理器（GPU）的新型芯片。GPU的設計目的是以閃電般的速度將快速移動的視頻遊戲視覺效果投射到屏幕上。但GPU擅長的計算——大量數字網格的乘法——卻與訓練神經網絡所需的計算十分相似。
英偉達現在已經是一傢市值上萬億美元的公司。當時，它正急於為其市場狹窄的新硬件尋找應用領域。
“當你發明一項新技術時，你必須接受瘋狂的想法，”英偉達首席執行官黃仁勛說。“我的思想狀態總是在尋找一些古怪的東西，而神經網絡將改變計算機科學的想法，就是一個非常古怪的想法。”
黃仁勛說，在多倫多團隊開發AlexNet時，英偉達給他們寄幾塊GPU讓他們試用。但他們想要的是最新版本，一種名為GTX580的芯片，這種芯片在門店裡很快就賣光。根據黃仁勛的說法，Sutskever從多倫多開車到紐約買到GPU。
“人們在街角排起長隊，”黃仁勛說。“我不知道他是怎麼做到的——我很確定每個人隻能買一個；我們有非常嚴格的政策，每個玩傢隻能買一個GPU，但他顯然把它們裝滿一個後備箱。滿滿一後備箱的GTX580改變世界。”
這是一個偉大的故事，隻是可能不是真的。Sutskever堅稱他的第一批GPU是在網上買的。但在這個熱鬧的行業裡，這樣的神話是司空見慣的。
Sutskever本人則更為謙虛，他說：
“我想，如果我能取得哪怕一丁點真正的進展，我都會認為這是一種成功。現實世界的影響感覺太遙遠，因為那時的計算機太弱小。”
AlexNet取得成功後，谷歌來敲門。谷歌收購辛頓的公司DNNresearch，並聘請Sutskever。在谷歌，Sutskever展示深度學習的模式識別能力可以應用於數據序列，如單詞和句子，以及圖像。Sutskever的前同事、現任谷歌首席科學傢的傑夫·迪恩（Jeff Dean）說：“Ilya一直對語言很感興趣，這些年來，我們進行很好的討論。Ilya對事物的發展方向有很強的直覺。”
但Sutskever並沒有在谷歌工作太久。2014年，他受聘成為OpenAI的聯合創始人。這傢新公司擁有10億美元的資金支持（來自CEO Altman、馬斯克、彼得·蒂爾、微軟、Y Combinator和其他公司），他們有那種矽谷式的雄心，從一開始就把目光投向開發AGI，這一前景在當時很少有人認真對待。
Sutskever是公司的幕後推手，他的雄心是可以理解的。在此之前，他已經在神經網絡方面取得越來越多的成果。Y Combinator投資董事總經理Dalton Caldwell說，Sutskever當時已經聲名在外，他是OpenAI吸引力的關鍵來源。
Caldwell說：“我記得山姆（Sam Altman）說伊利亞是世界上最受尊敬的研究人員之一。他認為Ilya能夠吸引很多頂尖的人工智能人才。他甚至提到，世界頂級人工智能專傢Yoshua Bengio認為，不可能找到比Ilya更合適的人選來擔任OpenAI的首席科學傢。”
然而，OpenAI一開始卻舉步維艱。
Sutskever說：“在我們啟動OpenAI的時候，有一段時間我並不確定將如何繼續取得進展。但我有一個非常明確的信念，那就是不能與深度學習對賭。不知怎的，每次遇到障礙，研究人員都會在半年或一年內找到繞過它的方法。”
他的信念得到回報。2016年，OpenAI的第一個GPT大型語言模型（該名稱代表"生成預訓練轉換器"）問世。隨後，GPT-2和GPT-3相繼問世。然後是引人註目的圖片生成模型DALL·E。當時還沒人能造出這麼好的東西。每一次發佈，OpenAI都提高人們對可能性的認識。
管理期望值
去年11月，OpenAI發佈一款免費使用的聊天機器人，對其部分現有技術進行重新包裝。它重新設定整個行業的議程。當時，OpenAI對自己的產品可能達到的熱度一無所知。
公司內部的期望值低得不能再低，Sutskever說：“我承認，我有點尷尬——我不知道我是否應該承認，但管它呢，這是事實——當我們制作ChatGPT時，我不知道它是否好。當你問它一個事實性的問題時，它會給你一個錯誤的答案。我以為它會很平淡無奇，人們會說，你為什麼要做這個？這太無聊！”
Sutskever說，吸引人的地方在於它的便利性。ChatGPT引擎蓋下的大型語言模型已經存在幾個月。但是，將其封裝在一個易於訪問的界面中並免費贈送，讓數十億人第一次解到OpenAI和其他公司正在構建的東西。
Sutskever說：
“這種初次體驗吸引人們。第一次使用它，我認為幾乎是一種精神體驗。你會想，天哪，電腦似乎能理解我說的話。”
OpenAI在不到兩個月的時間裡就積累1億用戶，其中許多人都被這個令人驚嘆的新玩具迷住。存儲公司Box的首席執行官亞倫·列維（Aaron Levie）在推特上總結發佈後一周的氛圍：“ChatGPT是技術領域難得一見的時刻，讓你看到未來一切都將不同的曙光。”
當ChatGPT說出一些蠢話時，這種奇妙的感覺馬上就坍塌。但到那時就無所謂。Sutskever說：“那一瞥已經足夠。ChatGPT改變人們的看法。”
“在機器學習領域，AGI不再是一個骯臟的詞，”他說。“這是一個巨大的變化。人們歷來的態度是：人工智能行不通，人工智能行不通，每一步都非常困難，你必須為每一絲進步而奮鬥。當人們大肆宣揚人工智能時，研究人員會說：'你在說什麼？這個不行，那個也不行。問題太多。'但有ChatGPT，感覺就開始不一樣。”
這種轉變是一年前才開始發生的嗎？“是因為ChatGPT，”他說。“ChatGPT讓機器學習研究人員有夢想。”
OpenAI的科學傢們從一開始就是傳道者，他們通過博客文章和巡回演講激起這些夢想。
這一切正在起作用：“我們現在有人在談論人工智能會發展到什麼程度，有人在談論AGI或超級智能。不僅僅是研究人員。各國政府也在談論它，這太瘋狂。”
不可思議的事物
Sutskever堅持認為，所有這些關於尚未存在（可能永遠不會存在）的技術的討論都是好事，因為這讓更多人意識到他已經認為理所當然的未來。
他說：“你可以用AGI做很多不起的事情，不可思議的事情：實現醫療自動化，讓醫療成本低一千倍，醫療效果好一千倍，治愈很多疾病，真正解決全球變暖問題。但也有很多人擔心，天哪，人工智能公司能否成功管理這項巨大的技術？”
AGI聽起來更像是一個實現願望的精靈，而非可以出現在現實世界的技術。很少有人會拒絕拯救生命和解決氣候變化問題。但一項不存在的技術的問題在於，你可以對它說任何你想說的話。
當Sutskever談到AGI時，他到底在說什麼？
他說：“AGI並不是一個科學術語。它隻是一個有用的門檻，一個參照點。它是一種理念。”他開始說，然後停頓一下。“它是指人工智能的智能程度，如果人類能完成的任務，人工智能也能完成。然後，你可以說實現AGI。”
AGI仍然是AI領域最具爭議性的想法之一。很少有人認為AGI的到來是必然的。許多研究人員認為，在我們看到類似Sutskever所想的東西之前，還需要在概念上取得重大突破，而有些人則認為我們永遠不會看到。
然而，這是他從一開始就有的願景。Sutskever說：“我一直受到這個想法的啟發和激勵。當時還不叫AGI，但你知道，就像讓神經網絡做所有事情一樣。我並不總是相信它們能做到。但這是一座需要攀登的高山。”
他將神經網絡和大腦的運作方式做類比。兩者都接收數據，匯總數據中的信號，然後根據一些簡單的過程（神經網絡中的數學，大腦中的化學物質和生物電）來決定是否傳播這些信號。這是簡化的比喻，但原理是類似的。
Sutskever說：
“如果你相信這一點，如果你允許自己相信這一點，那麼就會產生很多有趣的影響。如果你有一個非常大的人工神經網絡，它應該能做很多事情。特別是，如果人腦可以做一些事情，那麼一個大型人工神經網絡也可以做類似的事情。”
“如果你足夠認真地認識到這一點，一切都會水到渠成，”他說。“我的大部分工作都可以用這一點來解釋”。
在我們談論大腦的時候，我想問一下Sutskever在X（推特）上發表的一篇文章。Sutskever的帖子就像一卷箴言：“如果你把智力看得比人類所有其他品質都重要，那麼你會過得很糟糕”；“生活和商業中的同理心被低估”；“完美毀掉很多完美的好東西。”
2022年2月，他發帖稱，“也許今天的大型神經網絡略有意識”（谷歌DeepMind首席科學傢、倫敦帝國理工學院教授兼電影《機械姬》（ExMachina）科學顧問默裡·沙納漢（Murray Shanahan）對此回復道：“……就像一大片麥田可能略帶意大利面一樣”）。
當我提起這件事時，Sutskever笑。他是在開玩笑嗎？他沒有。"他問道："你熟悉玻茲曼大腦的概念嗎？
他指的是量子力學中以19世紀物理學傢路德維希·波茲曼（Ludwig Boltzmann）命名的一個（調侃式的）思想實驗，在這個實驗中，人們想象宇宙中的隨機熱力學波動會導致大腦突然出現或消失。
“我覺得現在這些語言模型有點像波茲曼大腦，”Sutskever說，“你開始跟它說話，你說一會兒；然後你說完，大腦就……”他用手做一個消失的動作。噗——再見，大腦。”
我問他，你是說，在神經網絡活躍的時候，也就是在它發射的時候，有什麼東西在那裡？
他說：
“我想可能是的。我不確定，但這是一種很難反駁的可能性。但誰知道會發生什麼呢，對吧？”
人工智能，但不是我們所知的那種
當其他人還在為機器能與人類的智能相媲美而糾結時，Sutskever正在為機器能超越我們而做準備。他稱之為人工超級智能：“它們會看得更透徹。它們會看到我們看不到的東西。”
我還是很難理解這到底是什麼意思。人類智能是我們衡量智能的基準。Sutskever所說的比人類更聰明的智能是什麼意思？
他說，我們已經在AlphaGo身上看到一個有限的超級智能的例子。2016年，DeepMind的AI圍棋機器人在一場圍棋比賽中以4:1的比分擊敗世界上最好的圍棋選手之一李世石。
Sutskever說：
“它找出下圍棋的方法，與人類幾千年來共同開發的方法不同。它提出新的想法。”
Sutskever指出AlphaGo謎一樣的第37手。在與李世石的第二場比賽中，AI下出讓評論員們大跌眼鏡的一步棋，他們認為AlphaGo下砸。事實上，AlphaGo下出在對局史上從未有人見過的神之一手（被圍棋迷們稱為“阿狗流”）。“想象一下，AlphaGo的洞察力是如此之強，而且是全方位的。”Sutskever說。
正是這種思路促使Sutskever做出他職業生涯中最大的轉變。他與OpenAI的科學傢揚·雷克（Jan Leike）一起成立一個團隊，專註於他們所說的超級對齊（superalignment）。Alignment是行話，意思是讓人工智能模型做你想做的事，僅此而已。Superalignment是OpenAI的術語，指超級智能的對齊問題。
超級對齊的目標是，為構建和控制這項未來技術制定一套萬無一失的程序。OpenAI表示，它將分配五分之一的龐大計算資源來解決這個問題，並在四年內解決。
“現有的排列方法對於比人類更聰明的模型不起作用，因為它們從根本上假定人類能夠可靠地評估人工智能系統正在做的事情，”Leike說，“隨著人工智能系統的能力越來越強，它們將承擔更艱巨的任務。這種想法認為，人類將更難對它們進行評估。在與Ilya組建超對齊團隊的過程中，我們已經著手解決這些未來的對齊挑戰。”
谷歌首席科學傢迪恩說：
“不僅要關註大型語言模型的潛在機遇，還要關註其風險和弊端，這一點非常重要。”
OpenAI於7月份大張旗鼓地宣佈這一項目。但對一些人來說，這不過是天方夜譚。OpenAI在Twitter上發表的博文引起大科技界著名批評傢的嘲諷，其中包括在Mozilla從事人工智能問責工作的Abeba Birhane（"在一篇博文中出現這麼多聽起來宏偉卻空洞的詞句"）；分佈式人工智能研究所（Distributed Artificial Intelligence Research Institute）聯合創始人Timnit Gebru（"想象一下，ChatGPT與OpenAI的技術人員更加‘超級對齊’。不寒而栗"）；以及人工智能公司HuggingFace的首席倫理科學傢瑪格麗特·米切爾（"我的聯盟比你的更大"）。誠然，這些都是我們耳熟能詳的不同聲音。但這也有力地提醒我們，在一些人看來，OpenAI是站在前沿的領導者，而在另一些人看來，OpenAI則是站在邊緣的領導者。
不過，對Sutskever來說，結盟是不可避免的下一步。“這是一個尚未解決的問題，”他說。他認為，像他自己這樣的核心機器學習研究人員正在研究的問題還不夠多。“我這麼做是為自己的利益。顯然，重要的是，不管是誰構建的超級智能都不能背叛人類。”
超級智能的工作才剛剛開始。Sutskever說，這需要研究機構進行廣泛的改革。不過，對於他希望設計的保障措施，他心中已經有一個范例：能像父母看待孩子那樣看待人類的AI。他說：“在我看來，這是黃金標準。”他說，“畢竟人們真的關心孩子。AI有孩子嗎？沒有，但我希望它能這麼想。”
我和Sutskever的談話時間快到，我想我們已經結束。但他又有新的想法——一個我沒有想到的想法：
“一旦你解決人工智能失控的挑戰，然後呢？在一個擁有更智能人工智能的世界裡，人類還有生存空間嗎？”
"有一種可能性——以今天的標準來看可能很瘋狂，但以未來的標準來看就不那麼瘋狂——那就是許多人會選擇成為人工智能的一部分。這可能是人類試圖跟上時代的方式。一開始，隻有最大膽、最有冒險精神的人才會嘗試這樣做。也許其他人會跟進，或者不會。”
等等，什麼？他準備起身離開。你會這麼做嗎？我問他，你會是第一批嗎？第一批？我不知道，他說。但這是我考慮過的事情。真正的答案是：也許吧。
說完，他站起身，走出房間。“很高興再次見到你。”他邊走邊說。