一位曾任OpenAI安全研究人員的人正在發出警告,提醒人們人工智能可能最終導致人類終結的嚴峻前景。前OpenAI基金會員工保羅·克裡斯蒂亞諾在一個播客節目中說,“我認為人工智能取代人類的可能性大約為10-20%,又或者大多數人類已經死亡,需要非常嚴肅對待這個問題。”
克裡斯蒂亞諾認為機器會逐漸地崛起,人類的終結不是一場突如其來的事件,而是人工智能逐漸地崛起,人類與機器已經透過諸如自動駕駛汽車、無人機等已經滲透到生活中。而當AI超越人類智商閾值時,一切皆有可能。
克裡斯蒂亞諾認為,AI殺消滅人類的最可能方式是日常生活中部署的所有AI聯合起來,而不是突然消滅人類。
克裡斯蒂亞諾的新非營利組織 Alignment Research Center 基於人工智能對齊的概念,該概念早在2018年就被廣泛定義為讓機器的動機與人類的動機保持一致。盡管 OpenAI 口頭上說要對齊,聲稱它“旨在使人工智能 (AGI) 與人類價值觀保持一致並遵循人類意圖”,但仍需要進行更多的研究和開發,以確保安全和合乎道德地開發人工智能。確保機器的動機與人類的動機一致對於防止人工智能毀滅的可能性至關重要。