寫代碼還得靠自己!ChatGPT回答編程問題錯誤率超50%


快科技8月8日消息,自從ChatGPT等生成式人工智能誕生,就有不少開發者嘗試將其作為編程中的輔助工具。

但近日,美國普渡大學的一項研究指出,ChatGPT在回答編程問題時的錯誤率,出乎預料的高。

據悉,ChatGPT在回答軟件編程問題時,錯誤率超過50%,並且這些錯誤很高明,足以騙過三分之一的提問者。

該研究團隊分析ChatGPT對517個Stack Overflow網站上的問題的回答,評估其正確性、一致性、全面性和簡潔性;並對12為志願參與者進行問卷調查。

最終的結論是,ChatGPT的回答雖然語言風格良好,但52%的回答是錯誤的,77%是冗長的。

同時,參與實驗的志願者隻有在回答中存在明顯錯誤時,才能發覺問題存在;其他情況下他們會被AI友好且細致的語言風格誤導。

這無疑意味著,對於開發者來說,現階段的生成式AI距離作為編程時的輔助工具還有著較為遙遠的距離,甚至可能會起到反作用。

不過,需要註意的是,OpenAI很早之前就在官網告知用戶,AI的回答可能會產生關於人、地點或事實的不準確信息。”


相關推薦

2023-02-08

“日賺800美元不是夢!”、“月入6萬刀!”……用ChatGPT賺錢的“門道兒”,各路博主似乎已經整明白。在視頻網站中搜索“ChatGPT賺錢”,刷刷刷映入眼簾的全是各種免費教程,收益一個比一個大,點擊率一個比一個高。△圖源

2023-02-21

言模型(LLM),其中名聲最響的當屬GPT-3的一個版本——ChatGPT。由於ChatGPT完全免費而且使用方便,去年11月推出後便引發熱潮。其他類型的生成式AI還能產生圖片或聲音。“我真的印象深刻,”就職於美國賓夕法尼亞大學的Pividor

2023-04-24

個星期甚至還把Google大腦和DeepMind合並到一起。去年底,ChatGPT 引發科技行業的劇變,今年 2 月,Google發佈 ChatGPT 競品 Bard,人們對其使用體驗褒貶不一。Bard 有這樣那樣的限制,很多人對開發人員提出的需求就是“什麼時候它才

2023-02-11

工作:加入OpenAI(又一次)。是的,就是現在大火的那個ChatGPT的公司OpenAI。其實也算不上意外,畢竟卡帕斯博士畢業後的第一份工作,就是在OpenAI研究計算機視覺。後來OpenAI聯合創始人之一的馬斯克看上卡帕斯,把人挖到特斯

2023-04-12

舊金山的軟件工程師Anna像往常一樣,坐在電腦前,打開ChatGPT,輸入“幫我規劃我的一天”。ChatGPT回答“當然可以!”,隨機給出從早上到晚上的日程計劃,並提示“你可以根據自己的情況進行調整。”Anna想想,在對話框裡補

2023-02-06

ChatGPT到底有多會修bug?這事終於有人正兒八經地搞研究——來自德國、英國的研究人員,專門搭個“擂臺”來檢驗ChatGPT的這項本領。除ChatGPT之外,研究人員還找來其它三位修bug的“AI猛將”,分別讓它們修復40個錯誤代碼。結

2023-03-27

表現已經接近人類水平,並且時常超過之前的模型,比如ChatGPT。因此,研究者相信,鑒於GPT-4在廣度和深度上的能力,它可以被視為通用人工智能(AGI)的早期版本。那麼,它朝著更深入、更全面的AGI前進的路上,還有哪些挑戰

2023-04-24

ChatGPT知道自己寫的代碼有漏洞,但它不說!來自加拿大的一項最新研究發現,ChatGPT生成的代碼中,有不少都存在安全漏洞。然而在被要求評估自己代碼的安全性時,ChatGPT卻很快發現這些代碼中的漏洞,並給出一些解決方案和建

2024-03-14

智能在無人協助的情況下解決 13.86% 的問題,比 OpenAI 的 ChatGPT 解決的問題高出近 10 倍,而這甚至僅僅是個開始。市場上出現這樣那樣的人工智能程序員後,很多人提出人工智能是否會取代人類程序員的問題,這一直是一個技術

2023-03-23

續推出的企業版訂閱為每月19美元。因此,當資本市場為ChatGPT將自然語言轉化為代碼的能力驚嘆時,上百萬程序員早已用上這項功能。所以周三的更新,更像是基於GPT-4發佈後的版本升級。不過GitHub也強調,Copilot X目前代表GitHub

2023-02-06

iss大語言模型是邪路,也為自傢匆忙下線的Galactica酸一把ChatGPT。而LeCun態度的大反轉,也讓曾經的對頭馬庫斯喜出望外。不僅頻頻轉發LeCun推文,還高調宣佈兩人的‘世紀大和解’。這兩天,圖靈獎得主Yann LeCun心態有些崩。自從

2022-08-26

Corbató)門下幹活,給一種叫作Multics的分時操作系統項目寫代碼。轉年夏天,他又得到 貝爾實驗室的實習機會,在那裡寫匯編語言。為方便在Fortran程序中做列表處理,他還寫出一套函數庫,他形容這份工作“十分過癮”。轉眼

2023-01-28

自打橫空出世以來,ChatGPT出盡風頭:這個由OpenAI推出的一種新型AI聊天機器人工具,可以根據用戶的要求快速生成文章、故事和歌詞甚至代碼,回答各類疑問等等。它在推出之際,就因為回答裡驚人的信息量和完成度,遭遇人們

2022-12-12

不是人工智能的快速發展引起爭議的唯一領域。一個名為ChatGPT的開放性人工智能程序在科技界引發一股熱潮,因為它能夠以詳細的答案和文件來回應信息請求,而這些答案和文件可以幫助我們更好地理解人工智能。