大型語言模型(LLM)的使用正在激增,而且有充分的理由,在過去的兩個星期裡,ChatGPT已經成為許多人最喜歡的輔助工具。事實上,它是如此之好,以至於它可以為你的大學課業生成邏輯清晰、令人信服的論文。正因為如此現在需要有檢測機器生成的文本的系統。
最近,斯坦福大學的一個研究小組提出一種名為DetectGPT的新方法,旨在成為打擊高等教育中生成文本的首批工具之一。該方法是基於這樣的想法:由LLM生成的文本通常在模型的對數概率函數的負曲率區域的特定區域徘徊。通過這種洞察力,該團隊開發一種新的標準用於判斷文本是否是機器生成的,這並不依賴於訓練人工智能或收集大型數據集來比較文本。
這種方法被稱為"zero-shot",允許DetectGPT檢測機器寫的文本,而不需要解用於生成文本的人工智能。它的操作與其他需要訓練"分類器"和真實及生成段落數據集的方法形成鮮明對比。
該團隊在AI自動生成新聞文章的數據集上測試DetectGPT(大概是去年CNET的一些文章),它在檢測機器生成的文本方面的表現優於其他方法。具體來說,他們發現DetectGPT提高對20B參數GPT-NeoX生成的新聞文章的檢測準確性,從基線GPT-NeoX的0.81AUROC提高到DetectGPT的0.95AUROC,檢測性能有實質性的提高,並表明DetectGPT可能是一種有前途的方法,可以仔細檢查識別機器生成的文本。
DetectGPT是一種檢測機器生成的文本的新方法,它利用LLM生成的文本的獨特特征。它是一種不需要任何額外數據或訓練的零散方法,使其成為識別機器生成的文本的高效和有效工具。隨著LLM的使用繼續增長,檢測機器生成的文本的相應系統的重要性將變得越來越關鍵,可以在許多領域產生重大影響,它的進一步發展可能對許多領域都有利。
解更多:
https://ericmitchell.ai/detectgpt/