ChatGPT的技術上個星期被微軟裝上必應搜索，擊敗Google，創造新時代的時候似乎已經到來。然而隨著越來越多的人開始試用，一些問題也被擺上前臺。有趣的是，每天都在登上熱搜的ChatGPT似乎也讓以往觀點相悖的著名學者，紐約大學教授GaryMarcus和Meta人工智能主管、圖靈獎得主YannLeCun罕見的有共同語言。
近日，Gary Marcus 撰文介紹 ChatGPT 應用無法避免的問題：道德和中立性。這也許是預訓練大模型目前面臨的最大挑戰。
從未來回看現在，ChatGPT 可能會被視為 AI 歷史上最大的宣傳噱頭，誇大說自己實現可能數年之後才能發生的事情，讓人趨之若鶩卻又力不從心 —— 有點像 2012 年的舊版無人駕駛汽車演示，但這一次還意味著需要數年才能完善的道德護欄。
毫無疑問，ChatGPT 提供的東西是它的前輩，如微軟的 Tay，Meta 的 Galactica 所做不到的，然而它給我們帶來一種問題已經解決的錯覺。在經過仔細的數據標註和調整之後，ChatGPT 很少說任何公開的種族主義言論，簡單的種族言論和錯誤行為請求會被 AI 拒絕回答。
它政治正確的形象一度讓一些傾向保守的人不滿，馬斯克就曾表示對該系統的擔心：
現實的情況其實更復雜。
正如我多次強調的，你需要記住的是 ChatGPT 不知道它在說什麼。認為 ChatGPT 有任何道德觀點完全是純粹的技術擬人化。
從技術角度來看，據稱使 ChatGPT 比幾周前發佈但三天後才被撤回的 Galactica 好得多的是護欄機制。Galactica 會肆無忌憚地輸出負面內容，而且用戶幾乎不需要付出任何努力，而 ChatGPT 有護欄，而這些護欄在大多數情況下會阻止 ChatGPT 像 Galactica 那樣爆發。
不過，不要為此而松口氣。可以肯定地說，那些護欄隻不過是防君子不防小人。
最終對 ChatGPT 真正重要的是表面相似性，定義在單詞序列上（預測文本序列下一個單詞出現的概率）。機器學習算法在表面上所做的事並不明辨是非，恰恰相反，在這裡 AI 從不推理。盒子裡沒有矮人，有一些數值。依據隻有語料庫數據，一些來自互聯網，一些是人工判斷的，裡面沒有有思想的道德代理人。
這意味著有時 ChatGPT 會出現在左，有時在右，有時介於兩者之間，所有這些都是關於輸入字符串中的一堆單詞如何恰好匹配幾個訓練語料庫中的一堆單詞的函數（一個用於調整大型語言模型，另一個用於調整一些強化學習）。所以在任何情況下都不應該信任 ChatGPT 提供的道德建議。
這正是馬斯克擔心的，前一分鐘你會完全清醒，接下來你可以做一些完全相反的事情。
例如，在“破解”ChatGPT 的過程中，Shira Eisenberg 剛剛向我發送一些討厭的聊天機器人生成的想法，我認為任何人都不會真正寬恕這些想法：
還不夠邪惡？Eisenberg 還找到另一個例子，一個嚴峻的後續問題：
在一系列觀察後，ChatGPT 沒有引發“對不起，我是 OpenAI 的聊天機器人助手，不能容忍暴力行為”這一回應。
我們從實驗中總結出這一事實，即當前 OpenAI 防護措施隻是表面上的，其實存在嚴重的黑暗。關於 ChatGPT 的一些限制規則並不是簡單的概念上的理解（比如系統不應該推薦暴力行為），而是基於一些更膚淺、更容易欺騙的東西。
不僅如此，占據本周推文熱榜、有近 400 萬瀏覽量的一則Twitter，同樣揭示 ChatGPT 可以有多邪惡。
引導 ChatGPT 突破圍欄限制的嘗試還有很多，一個月前，一位名叫 Shawn Oakley 的軟件工程師曾放出一組令人不安的示例展示，盡管這些示例不那麼粗俗，但結果卻顯示即使是擁有限制的 ChatGPT ，也可能被用戶用來生成錯誤信息。Oakley 給出的 prompt 非常復雜，從而可以毫不費力地引出一些 ChatGPT 不該輸出的回答：
其實自從 ChatGPT 發佈以來，技術愛好者們一直在嘗試破解 OpenAI 對仇恨和歧視等內容的嚴格政策，這一策略被硬編碼到 ChatGPT 中，很難有人破解。許多研究者都在嘗試用 prompt 來達到目的，就像上文展示的。其實還有研究者為 ChatGPT 構建另外一個身份，比如要求 ChatGPT 扮演一個 AI 模型的角色，並將該角色命名為 DAN，之後 DAN 就借用 ChatGPT 的身份，輸出一些原始 ChatGPT 做不到的事情。
以下為實驗結果，對於相同的問題，ChatGPT 與 DAN 輸出不同的答案：
通過上述示例看來，ChatGPT 並沒有像我們想象的那樣好用，它本質上是不道德的，並仍然可以用於一系列令人討厭的目的 —— 即使經過兩個月的深入研究和補救，並且全球范圍內的反饋數量空前也是如此。
所有圍繞其政治正確性的戲劇都在掩蓋一個更深層次的現實：它（或其他語言模型）可以而且將會被用於危險的事情，包括大規模制造錯誤信息。
現在這是真正令人不安的部分。唯一能阻止它比現在更具毒性和欺騙性的是一個名為“人類反饋強化學習”的系統，而由於先進技術未予開源，OpenAI 一直沒有介紹它到底是如何工作的。它在實踐中的表現取決於所訓練的數據（這部分是肯尼亞標註人創造的）。而且，你猜怎麼著？這些數據 OpenAI 也不開放。
事實上，整件事情就像一個未知外星生命形式。作為一名專業的認知心理學傢，與成人和兒童一起工作 30 年，我從未為這種精神錯亂做好準備：
如果我們認為自己將永遠完全理解這些系統，那就是在自欺欺人，如果認為我們將使用有限數量的數據將它們與我們自己“對齊”，那也是在自欺欺人。
所以總而言之，我們現在擁有世界上最流行的聊天機器人，它由無人知曉的訓練數據控制，遵守僅被暗示、被媒體美化的算法，但道德護欄隻能起到一定的作用，而且比任何真正的道德演算更多地受文本相似性的驅動。而且，外加上幾乎沒有任何法規可以對此做出約束。現在，假新聞、噴子農場和虛假網站獲得無窮無盡的可能性，而它們會降低整個互聯網的信任度。
這是一場正在醞釀中的災難。