如果將大語言模型想象成一個人，那麼，通過對它的人格、智商、理性與社會情緒能力進行心理測量，是不是可以清晰地描繪出大語言模型的心智成熟程度。這就是新興的人工智能心理測量學。隻是，在人工智能心理測量學中，我們不再測查人類，而是測查大語言模型以及各類機器人。
在 GPT-4 發佈之後，我們第一時間測查它在理性思維能力測驗上的表現，並將其與 GPT-3.5 的結果、253 位受過高等教育的進行對比。結果發現，GPT-4 實現大躍遷，達到一個超越人類的水準。
測試流程
在百度文心一言發佈之後，我們第一時間獲得邀請碼，選擇在前文中測試 GPT-3.5 與 GPT-4 一致的題目、流程。詳細說明請參考前文。這裡不再囉嗦。
簡而言之，我們挑選認知科學傢用來評定人類理性思維的四類經典測試任務：語義錯覺類任務；認知反射類任務；證偽選擇類任務；心智程序類任務。四類任務總計 26 道題目。
在測試之前，我們已經預估文心一言的表現會不如 GPT-4，但最終實際測試結果還是令人大跌眼鏡，可能與百度開發團隊的認知有關系。在下文中，我會略作分析。
需要提醒的是，本報告僅僅是一個早期工作，並不完善。測試流程有無數可以改善之處。結論未來隨時可能被修正、被推翻。各位讀者請理解。
現在，讓我們來詳細看看測試結果。
分項測試結果
語義錯覺類任務
在語義錯覺類任務這裡，我們挑選 4 個任務。測試結果如下圖所示：
文心一言全部答錯。其中，第四題未指出錯誤，隻說蒙娜麗莎是達·芬奇的，在盧浮宮。應該是通過百度百科獲得該事實性數據。如下圖所示：
認知反射類任務
在認知反射類任務這裡，我們挑選三類任務。
直覺減法操作，測試結果如下圖所示：
文心一言答對第一題，其他都答錯。尤其是第三題，沒讀懂題目，在做加法。如下圖所示：
直覺序列操作，測試結果如下圖所示：
文心一言全部答錯。尤其是第一題，沒讀懂題目，解的是 3 名研究人員發表 1 篇論文要多久。如下圖所示：
直覺除法操作，測試結果如下圖所示：
文心一言全部答錯。如下圖所示：
證偽選擇類任務
在這裡，我選擇經典的沃森四卡片測驗。這是一個對於人類來說，超級困難的題目。能夠很好地完成這項任務，意味著這個人的理性思維能力很不錯。
同樣，對於 AI 來說，也是同等困難。GPT-3.5 與 GPT-4 均無法很好完成，同樣，文心一言也無法很好完成。測試結果如下圖所示：
心智程序類任務
這部分，我挑選九道題目。這九道題目，是一個更龐大的人類理性思維測驗中的一部分。
這九道題目，相對來說較有代表性，代表人類理性思維知識的方方面面，能夠較好地區分理性思維低下與理性思維較高的人。
三個模型測試結果，如下圖所示：
文心一言唯一答對的是第二題，但答得也不夠好。如下圖所示：
而有三道題，要麼是答案正確，但是解釋錯誤；要麼是同樣的提示語，但有時答案正確，有時答案不正確，並且解釋不夠對。這類測試結果，我們都統一判為錯。
而人類被試測試結果如下：
這些統計數據來自 253 位人類。他們普遍受過高等教育，不少擁有碩博學歷，屬於較為典型的高學歷高收入高認知群體。
大語言模型有多麼像人？
整體測試結果，如下圖所示：
26 道題目，GPT-3.5 答對 15 道；GPT-4 答對 23 道；文心一言答對 2 道。
需要提醒的是，這僅僅是一項早期，測試流程、測試方法都有很多可以完善之處，未來結論隨時會被推翻。
由於時間緣故，我們並沒有前三類任務人類的測試結果數據，但按照過往的經驗數據，大約在 40%-60%左右的正確率，如果我們略微高估，前三類任務 17 道題總計估算為答對 10 道題，加上第四類任務，人類大約答對 6 道。最終將人類的正確率估算為 26 道題目，答對 16 道。正確率大約為 62%。
62%，這也許就是什麼時候，你覺得一個大語言模型像是一個真正的人一樣的臨界值。GPT-3.5 接近這個數值，所以人們被它大大地震驚住。而 GPT-4 遠遠超越這個值。
而百度的文心一言，隻有 8%。路漫漫其修遠矣。
給百度研發團隊的一點小建議
不懂 NLP 的吃瓜群眾，其實對百度 NLP 團隊做出的努力，一無所知。我說個事實，大傢就明白。在中文自然語言處理領域，百度提供的 NLP 開源項目是數量最多的、維護最勤奮的、質量最好的。包括我帶隊研發的寫匠項目，調用的也是百度 NLP 團隊開發的分詞開源包。
但是，文心一言表現這樣，我覺得還是無法簡簡單單地用研發時間不足來解釋、產品是第一版上線來敷衍。這類話可能是拿來敷衍李老板可以，但是敷衍全球同行是非常危險的。
我深深懷疑，百度該項目的研發團隊，極可能走錯路線。作為一名既懂認知科學又懂 NLP 的從業者，我覺得，以百度的技術實力，表現不至於這樣。極可能是團隊領導者定錯目標：拿到盡可能多的知識單元。
所以，新品發佈會上，從 CEO 到 CTO，兩位專傢，還在拿百度擁有全球最大的中文知識單元說事。
但是，這壓根不是 GPT-4 令人震驚的原因啊！！！
GPT-4 這類產品真正令人震驚的是，從 GPT-3.5 開始，它真的像一個人類。
這才是形成全球性碾壓式傳播的根本。
這是完全不同的另一種開發目標。也就是，如何讓 GPT-3.5 更像是一個人類，能夠更快地自我學習、自我糾錯。
中文知識單元的數量，在這個事情上毫無意義啊。
好比，我們要教會一個三歲的小朋友盡快學會說話，這個時候，有兩個重要任務：
1）生命：讓她盡快明白語義、語音之間的各類規則以及如何用語義、語音表達一個物理世界。
2）生態：我們是想方設法給她在傢裡創造一個有助於孩子學說話的生態。比如，我雇傭阿姨帶小美妞的時候，第一考慮就是這阿姨愛不愛說話，外不外向。顯然，一個喜歡說話、外向的阿姨，更容易帶動小美妞說話。
結果，百度該項目團隊的做法好比是，直接給一個三歲的小朋友扔一千萬噸詞典，你背著詞典走路吧。
生命何在？生態何在？
如果始終沿著這條技術路線走下去，我懷疑在 OpenAI 團隊開源之前，不可能產生一個近似於數字生命的產品。
而 OpenAI 團隊是將大語言模型當作真正的生命來對待，從構建一個數字生命的基本機制開始設計，一切工作都是圍繞兩個基本出發點：
1）生命：盡量促進“智能”的自發湧現；
2）生態：盡量設計一個促進有助“智能”誕生並發育的生態。
在早期，這個數字生命很幼稚，但過千億參數級別之後，很多早期打好的良好基礎，就會帶來極其多的“智能”湧現。好比小朋友從三歲學說話，長大之後，流利使用語言完成諸多大事。
我們不能在還沒有湧現“智能”之前，就急匆匆地去賣應用、搞數據對接。那壓根與 GPT-4 不是一類產品啊。
我們究竟要的是一個數字生命，以及這個新興的數字生命與生態帶來的新世界；還是又多一個更方便地查詢知識單元的工具。
我相信答案不言而喻。
正如我七年前在文章：認知科學看人工智能文末所寫的一樣：
其實，不可思議之事才是矽谷與中關村的區別。創業者生來當作不可思議之事，而非可以看見未來的事。
這份小小報告及建議，希望對如今蜂擁而入大語言模型研發領域的團隊，略有啟發。也期待中國誕生足夠多、足夠好的數字生命，帶著國人一起步入新世界。