快科技6月28日消息,OpenAI公佈一個基於GPT-4訓練的模型CriticGPT,主要用於捕捉ChatGPT代碼輸出中的錯誤。
簡單來說,通過這一模型,人類訓練者可以利用GPT-4查找並改進GPT-4自身的不足,OpenAI的實驗顯示,在CriticGPT的輔助下,訓練師發現錯誤的能力提升60%。
CriticGPT的工作機制包括對ChatGPT提供的代碼進行評審,並提出改進建議,盡管CriticGPT的建議並非總是完美無缺,但它的引入顯著提升訓練師在發現模型問題上的能力。
OpenAI表示,因為沒有更好的工具,所以人們目前難以評估高級AI的表現,而CriticGPT意味著,OpenAI向能夠評估高級AI系統輸出的目標邁進一步。
OpenAI也坦誠地指出CriticGPT的局限性,包括對長任務理解的不足、幻覺錯誤的產生、分散錯誤的識別難題,以及在面對極端復雜任務時的評估局限。
CriticGPT的發佈也引發熱烈討論,有網友用左腳踩右腳上天”來形容這一自我改進的過程。