快科技8月8日消息,自從ChatGPT等生成式人工智能誕生,就有不少開發者嘗試將其作為編程中的輔助工具。
但近日,美國普渡大學的一項研究指出,ChatGPT在回答編程問題時的錯誤率,出乎預料的高。
據悉,ChatGPT在回答軟件編程問題時,錯誤率超過50%,並且這些錯誤很高明,足以騙過三分之一的提問者。
該研究團隊分析ChatGPT對517個Stack Overflow網站上的問題的回答,評估其正確性、一致性、全面性和簡潔性;並對12為志願參與者進行問卷調查。
最終的結論是,ChatGPT的回答雖然語言風格良好,但52%的回答是錯誤的,77%是冗長的。
同時,參與實驗的志願者隻有在回答中存在明顯錯誤時,才能發覺問題存在;其他情況下他們會被AI友好且細致的語言風格誤導。
這無疑意味著,對於開發者來說,現階段的生成式AI距離作為編程時的輔助工具還有著較為遙遠的距離,甚至可能會起到反作用。
不過,需要註意的是,OpenAI很早之前就在官網告知用戶,AI的回答可能會產生關於人、地點或事實的不準確信息。”