生成式AI普及之后，寫(xiě)作這件事變得有些微妙。過(guò)去人們問(wèn)“寫(xiě)得好不好”，現(xiàn)在多了一個(gè)問(wèn)題“這到底是不是人寫(xiě)的”？AI檢測(cè)器正是在這樣的需求下，進(jìn)入了人們的視野。它們分析文字中的語(yǔ)言特征，試圖判斷文本更像是人寫(xiě)的，還是機(jī)器生成的。

　　美國(guó)《連線(xiàn)》雜志近日?qǐng)?bào)道，作家米婭·巴拉德的小說(shuō)《Shy Girl》曾被AI檢測(cè)公司Pangram判定為78%由AI生成。但巴拉德否認(rèn)使用AI寫(xiě)作。隨后，出版商Hachette取消了這本書(shū)在美國(guó)的出版計(jì)劃。

　　如今，Pangram、GPTZero等AI檢測(cè)產(chǎn)品已經(jīng)進(jìn)入出版社、學(xué)校和科研機(jī)構(gòu)。一個(gè)原本用于輔助判斷的技術(shù)，正在越來(lái)越多地參與實(shí)際決策。

　　AI檢測(cè)器正變得更準(zhǔn)確

　　早期AI檢測(cè)主要依賴(lài)?yán)Щ蠖群屯话l(fā)性。困惑度衡量一段文字對(duì)語(yǔ)言模型來(lái)說(shuō)有多“意外”，如果下一個(gè)詞很容易預(yù)測(cè)，困惑度通常較低。突發(fā)性則關(guān)注句子長(zhǎng)短、結(jié)構(gòu)等變化。人類(lèi)寫(xiě)作往往長(zhǎng)短錯(cuò)落、起伏轉(zhuǎn)折，AI則偏愛(ài)整齊劃一、千篇一律。

　　但這種方法漏洞很明顯。一個(gè)文風(fēng)嚴(yán)謹(jǐn)?shù)膶W(xué)者，或者一個(gè)英語(yǔ)不夠流利的非母語(yǔ)者，寫(xiě)出來(lái)的東西很容易被誤判成AI。因此，一些高校一度停止或限制使用AI檢測(cè)工具。

　　隨著大模型的發(fā)展，以Pangram為例，它用海量人類(lèi)文本和AI文本訓(xùn)練模型，還讓AI自己生成與真實(shí)文本相似的“鏡像文本”，專(zhuān)門(mén)挑那些容易被誤判的樣本反復(fù)訓(xùn)練。Pangram 4的技術(shù)報(bào)告顯示，在它們的測(cè)試數(shù)據(jù)里，英文文本的誤判率降到了0.0041%?！蹲匀弧冯s志也提到，今年7月Epoch AI測(cè)試了495篇純?nèi)祟?lèi)寫(xiě)的文章，沒(méi)有發(fā)現(xiàn)Pangram出現(xiàn)誤判。

　　不過(guò)，這些數(shù)據(jù)主要來(lái)自企業(yè)自己的測(cè)試，第三方獨(dú)立評(píng)估還不夠。同時(shí)，檢測(cè)模型和生成模型都在快速迭代，今天表現(xiàn)良好的模型，明天可能就會(huì)面臨新的挑戰(zhàn)。檢測(cè)器給出的數(shù)字，不能直接當(dāng)作事實(shí)。

　　“96% AI”不等于96%由AI寫(xiě)成

　　《自然》雜志曾拿Frontiers出版社科研誠(chéng)信總監(jiān)埃琳娜·維卡里奧的一篇文章去作檢測(cè)。維卡里奧表示，文章初稿和想法完全由自己完成，只在修改過(guò)程中讓AI潤(rùn)色了一下，之后又經(jīng)過(guò)了人工編輯。然而，Pangram舊版本將這篇文章判定為100% AI生成，升級(jí)后的Pangram 4仍給出了96% AI的比例。

　　但這里的“96% AI”，并不是說(shuō)文章中96%的內(nèi)容都是AI完成的。檢測(cè)器給出的“AI比例”，與作者實(shí)際使用AI的程度，并不是一回事。

　　Pangram解釋稱(chēng)，“100% AI”并不是說(shuō)文章中的每一個(gè)詞都是AI寫(xiě)的。系統(tǒng)會(huì)把文章切分成不同片段，分別判斷這些片段更接近AI、人類(lèi)還是兩者混合，再根據(jù)這些判斷計(jì)算整體比例。因此，“96% AI”更準(zhǔn)確的含義是，檢測(cè)器認(rèn)為這篇文本具有很強(qiáng)的AI生成特征，而不是認(rèn)定作者有96%的內(nèi)容由AI完成。

　　今天的寫(xiě)作早已不是“人寫(xiě)”與“AI寫(xiě)”的二元對(duì)立。一位作者可能獨(dú)立完成初稿，僅用AI修改措辭；也可能讓AI生成框架，再逐段重寫(xiě)；還可能經(jīng)過(guò)翻譯、潤(rùn)色、人工修訂等多道工序。然而，從檢測(cè)器的視角看，這些參與程度完全不同的寫(xiě)作方式，最終產(chǎn)出的文本卻可能呈現(xiàn)相似的AI特征。

　　檢測(cè)結(jié)果本身也并非完全穩(wěn)定?！蹲匀弧返臏y(cè)試發(fā)現(xiàn)，同一段文字，單獨(dú)檢測(cè)和放在完整文章中檢測(cè)時(shí)，分?jǐn)?shù)可能不一樣。《連線(xiàn)》的測(cè)試也發(fā)現(xiàn)，對(duì)文本進(jìn)行一些修改后，檢測(cè)分?jǐn)?shù)可能隨之改變。

　　一場(chǎng)沒(méi)有終點(diǎn)的“貓鼠游戲”

　　檢測(cè)器在升級(jí)，規(guī)避檢測(cè)的方法也在更新。市面上已經(jīng)出現(xiàn)了專(zhuān)門(mén)的人性化改寫(xiě)工具，能把AI寫(xiě)的句子重新組織一遍，換上更自然的詞，調(diào)整表達(dá)節(jié)奏，目的就是讓檢測(cè)器認(rèn)不出來(lái)。研究顯示，經(jīng)過(guò)這種處理的AI文本，漏檢率會(huì)明顯上升。

　　讓AI模仿某個(gè)具體作者的風(fēng)格，也是一條路徑。非營(yíng)利研究機(jī)構(gòu)Epoch AI的一項(xiàng)獨(dú)立評(píng)估發(fā)現(xiàn)，當(dāng)AI被要求模仿特定作者的寫(xiě)作風(fēng)格時(shí)，部分生成文本能夠繞過(guò)檢測(cè)。

　　語(yǔ)言差異也增加了這種不確定性。一些非英語(yǔ)母語(yǔ)者使用AI翻譯或潤(rùn)色后，文章反而更容易被判成AI生成。Pangram新版模型對(duì)此有所改善，但檢測(cè)結(jié)果仍可能受到語(yǔ)言背景和文本類(lèi)型影響。

　　生成模型和檢測(cè)模型，就這么你追我趕，誰(shuí)也停不下來(lái)。生成模型想方設(shè)法學(xué)著“說(shuō)人話(huà)”，檢測(cè)模型就拼命尋找哪里還露出馬腳。檢測(cè)器更新之后，新的改寫(xiě)工具或許又會(huì)出現(xiàn)。

　　檢測(cè)器應(yīng)是指南針而非判決書(shū)

　　對(duì)于學(xué)校、出版社和科研機(jī)構(gòu)來(lái)說(shuō)，檢測(cè)器更適合承擔(dān)“篩查”的角色。對(duì)于學(xué)校、出版社和科研機(jī)構(gòu)而言，判斷一篇文章是否違規(guī)使用AI，還需要結(jié)合具體的使用情況。

　　據(jù)《自然》雜志報(bào)道，美國(guó)癌癥研究協(xié)會(huì)已經(jīng)使用Pangram檢查同行評(píng)議。一名審稿人因檢測(cè)結(jié)果異常受到詢(xún)問(wèn)后，承認(rèn)自己在評(píng)審意見(jiàn)中使用了AI。這樣的案例說(shuō)明，檢測(cè)器確實(shí)可以幫助機(jī)構(gòu)發(fā)現(xiàn)異常，但從“發(fā)現(xiàn)異?！钡健按_認(rèn)違規(guī)”，中間仍然需要人的判斷。

　　Pangram也建議，在處理AI學(xué)術(shù)誠(chéng)信問(wèn)題時(shí)，應(yīng)結(jié)合草稿、筆記、修改記錄和寫(xiě)作過(guò)程等信息，而不能只看檢測(cè)分?jǐn)?shù)。

　　檢測(cè)器可以告訴人們一段文字像不像AI生成，卻無(wú)法僅憑一個(gè)數(shù)字還原真實(shí)的寫(xiě)作過(guò)程。隨著AI和檢測(cè)技術(shù)繼續(xù)發(fā)展，這個(gè)邊界可能還會(huì)不斷變化。

　　(科技日?qǐng)?bào) 本報(bào)記者 張佳欣）