AI 抓不到作弊,卻抓錯了外語學生:一場偵測器的信任危機

以下為虛構對話,人物與情節為創作,科學內容來源標註於文末。
▌一、被機器指認的午餐
麵店的午餐時段,湯底的味道漫在空氣裡。
Dg 把手機推到桌子中間。「妳看,我一個學長,報告被系統判成 AI 寫的。他明明自己打的。」
Liy 端著一碗麵過來,看了一眼。「機器說他是機器。」
「對,就是這麼荒謬。」Dg 挺起胸膛,「這叫『系統性偏誤』。演算法不是中立的,它戴著有色眼鏡看人。」
Cala 剛好在隔壁桌坐下,聽到一半插進來。「有色眼鏡……你是說它對你學長有成見?機器對一個人有成見,那是不是它其實在意他?」
Dg 卡了一下。「不是……我是說它判斷不準。」
「判斷不準才更像在意啊。」Cala 已經自顧自往下講,「越在意的人,越容易看走眼。」
Liy 把筷子放到 Dg 面前。「機器沒有眼睛。」
Cala 張了張嘴,發現這句話沒辦法接。
▌二、太順了
Dg 決定把話題拉回正軌。「重點是機器怎麼判的。它看一個東西叫『困惑度』。」
「困惑度?」Cala 眼睛一亮,「所以機器會困惑。它讀你學長的報告讀到困惑,代表寫得很深奧嘛。」
「剛好相反。」Dg 難得有機會糾正別人,語氣立刻上揚,「困惑度低才會被當成 AI。就是……文章太好猜、太順了。」
Liy 擦著桌子。「太順了就有問題。」
「對!」Dg 用力點頭,然後意識到哪裡怪怪的,「不是……順本來是好事,可是在機器眼裡……」
「那我爸煮麵,湯頭太順也有問題嗎。」Liy 說,「客人說順口是稱讚。」
Dg 張嘴想解釋比喻不能這樣類推,但一時找不到話。
Cala 趁隙補刀:「你看,Liy 都聽出來了,機器根本是在嫉妒寫得好的人。」
「不是嫉妒——」
「不然為什麼專挑順的打?」
Dg 感覺自己同時要應付兩個方向,額頭開始冒汗。
他拿起水杯,發現已經空了。
▌三、越乖越像機器
「重點是,」Dg 深吸一口氣,「被誤判的都是英文不是母語的人。因為他們用字比較保守、句型比較規律,剛好跟 AI 很像。」
Cala 立刻接:「保守?所以是害羞的人容易被誤會。害羞的人心裡藏著話,機器讀不懂,就……」
「跟害羞沒關係。」Dg 語速加快,「是他們在學外語,會用有把握的標準句子,不敢亂冒險。」
Liy 收走隔壁桌的空碗。「越乖越像機器。」
Dg 愣住。這句話莫名其妙地正確。
「對……差不多就是這樣。」他小聲說,「你越認真把英文寫得標準、清楚,反而越容易被抓。」
Cala 想再腦補些什麼,張了張嘴,卻發現 Liy 那句話已經把話講完了,沒有縫隙可以鑽。
Liy 把兩個空碗疊起來,端回櫃台。
那疊碗沒有幫到 Dg,但剛好替他把話收乾淨了。
你交出去的報告被系統標記成「AI 生成」,但你明明是自己一個字一個字打出來的——問題可能不出在你,而出在偵測器本身。近年多所頂尖大學陸續關掉 AI 偵測工具,背後是一組讓人坐不住的數據:非母語英語寫作者被誤判的比率,竟然超過六成。
關鍵亮點
- 超過六成誤判:一項 2023 年的研究測試七款商用 AI 偵測器,發現它們把 61.3% 的非母語英語作文誤判成「AI 生成」,但對母語人士的作文卻幾乎全對。
- 關鍵反向實驗:研究者把那些被誤判的作文「詞彙修飾得更高級」之後,誤判率立刻從 61.3% 掉到 11.6%——證明偵測器抓的根本不是 AI,而是「用字簡單、句型規律」這種第二語言學習者的正常特徵。
- 政策已經在轉向:MIT、Yale、滑鐵盧大學、科廷大學等多校近年陸續不建議或關閉 AI 偵測工具,理由包含不可靠、對多語言學生不公平。
- 不是所有工具都一樣爛:新一代偵測器表現差異很大,但「完全公平」目前沒有任何一款做得到。
事情是怎麼爆開的
一個看似方便的解法
2022 年底 ChatGPT 橫空出世,大學老師集體陷入焦慮:學生會不會直接叫 AI 幫忙寫報告?於是「AI 偵測器」看起來像救命稻草——把學生交來的文章丟進去,系統就會告訴你這篇有幾成「像 AI 寫的」。
聽起來很美好,對吧?把判斷交給一個看似客觀的軟體,老師就不用自己當偵探了。
問題是,這個軟體並不客觀
麻煩的地方在於,這些工具不但沒那麼準,還把火燒到了一群完全無辜的人身上:用英文寫作的外語學生。而且這不是零星個案,是一種有方向性、可以被實驗重現的「系統性偏誤」。
換句話說,如果你的母語不是英文,光是「你寫英文的方式」,就可能讓你比母語同學更容易被貼上「作弊」的標籤。這對台灣、對所有非英語系國家的學生來說,都不是抽象的學術新聞,而是很可能發生在自己身上的事。
那個讓人坐不住的實驗
研究長什麼樣子
這件事的核心證據,來自史丹佛團隊 Liang 等人 2023 年發表在期刊《Patterns》(Cell 旗下)的研究。他們的設計很乾淨:拿七款當時常見的商用 GPT 偵測器,去測試兩組「都是人類寫的」作文。
- 第一組:美國八年級學生寫的作文(母語人士)
- 第二組:TOEFL 托福考試的作文(非母語人士)
重點是——這兩組全部都是真人寫的,沒有半篇是 AI 產出的。理論上,一個好的偵測器應該把它們全部判成「人類」才對。
結果讓人倒抽一口氣
結果偵測器對母語組幾乎完美,正確判斷是人寫的。但對非母語的 TOEFL 組呢?
- 平均 61.3% 被誤判成「AI 生成」。
- 97.8% 的托福作文,至少被其中一款偵測器誤判過。
- 更誇張的是,19.8%(大約每五篇就有一篇)被全部七款偵測器一致誤判——七台機器同時指著一個認真寫作的學生說「你作弊」。
神來一筆的反向驗證
如果研究只停在這裡,你或許還能說「搞不好只是巧合」。但這個研究最漂亮的地方,是它接著做了一個反向實驗:
研究者把那些被誤判的 TOEFL 作文,請 ChatGPT 幫忙把詞彙修飾得更像母語人士(用字更豐富、句型更多變),內容主旨不變。然後再丟回同樣的偵測器。
誤判率從 61.3% 直接掉到 11.6%。
這個轉折說明了一件關鍵的事:偵測器抓的根本不是「這篇是不是 AI 寫的」,而是「這篇用字夠不夠花俏、句型夠不夠多變」。第二語言學習者因為詞彙量還在累積、句型偏保守,正好踩中了偵測器認定的「AI 特徵」。你越認真用標準、清楚的句子把英文寫好,反而越像機器人。
偵測器到底在看什麼?認識「困惑度」
一個叫「困惑度」的東西
要理解上面這件荒謬的事怎麼發生的,得認識一個關鍵詞:困惑度(perplexity)。
你可以把困惑度想成「一段文字有多好猜」。如果一句話的下一個字很容易被預測(很「順」、很「常見」),困惑度就低;如果用字出人意料、變化多端,困惑度就高。
偵測器的邏輯是這樣的:AI 生成的文字通常很「平順」、很好預測(因為它就是從海量人類文字裡學統計規律,傾向產出最「安全」的句子),所以低困惑度 = 疑似 AI。
看出問題在哪了嗎
問題就出在這裡。誰的英文寫作也常常是「用字保守、句型規律、四平八穩」?
沒錯,正在學英文的第二語言學習者。他們傾向使用學過的、有把握的標準句型,避免冒險的華麗修辭——結果在困惑度這把尺上,他們的文字看起來就跟 AI 一樣「太順了」。
還有一個相關指標叫爆發度(burstiness),衡量文字在長短句、複雜度上的起伏。AI 文字通常比較平穩,而非母語寫作為求穩妥,起伏也常偏小——又是一記正中偏誤紅心。
| 母語寫作者 | 非母語寫作者 | AI 生成 | |
|---|---|---|---|
| 用字變化 | 豐富、多變 | 較保守、集中 | 傾向平穩 |
| 句型 | 多樣、有冒險 | 規律、標準 | 規律、可預測 |
| 困惑度 | 較高 | 較低 | 低 |
| 偵測器判讀 | 判為人類 ✓ | 誤判為 AI ✗ | 判為 AI ✓ |
非母語寫作在統計特徵上,恰好和 AI 生成文字高度重疊——這才是誤判的根源。
大學為什麼開始關掉它
從「抓作弊神器」到「燙手山芋」
當這類證據累積得夠多,教育界的態度開始轉彎。這不是某幾間學校的獨立決定,而是近年一波跨國趨勢。
MIT 的 Sloan 教學中心發布了一份廣為流傳的教師指南,標題直白得可以:「AI 偵測器沒用,這裡是替代方案」。它建議老師與其依賴軟體,不如把力氣花在制定清楚的課堂 AI 使用政策、和學生公開對話、以及重新設計不容易外包給 AI 的作業。
其他學校也陸續跟進。根據多方報導彙整,Yale(耶魯)並沒有一刀切禁止,而是規定偵測分數不能當作正式學術申訴的證據,老師頂多私下拿來參考;滑鐵盧大學(University of Waterloo)在內部測試發現有純人類寫的文章被判成「100% AI 生成」後,直接在各學院關閉了 Turnitin 的 AI 偵測功能;科廷大學(Curtin University,澳洲)則明確把「對外語學生的偏誤」列為關閉理由之一。
更深一層的顧慮
除了不準,還有一個現實問題:法律風險。如果一間學校用一個已知高誤判率的工具,去指控學生作弊、甚至影響到學位,一旦學生反過來提告,學校很難自圓其說。這讓 AI 偵測從「執法工具」逐漸降級為「僅供參考的軟性篩選」。
⚠️ 提醒:坊間有些文章會把「MIT 這個月正式宣布停用偵測器」寫成單一聳動事件——這是把不同時間、不同性質的兩件事(長期就存在的教學指南,與近期一份涵蓋 AI 對高教整體衝擊的委員會報告)壓縮誇大了。準確的說法是:這是一股「近年趨勢」,而非某個月的單一政策公告。
那新一代的偵測器有比較好嗎?
不是所有工具都一樣爛
這裡要幫偵測器說句公道話:把「2023 年那批基於困惑度的工具有嚴重偏誤」擴大成「所有 AI 偵測器在任何情況下都完全不可信」,其實是以偏概全。
被點名之後,廠商也不是坐著不動。有一款叫 Pangram 的新一代偵測器宣稱,在同一份 TOEFL 測試集上做到了 0% 誤判率(不過要注意,這個數字來自廠商自己發布的技術報告,不是獨立第三方驗證)。另一款 GPTZero 在被指出偏誤後更新了模型,但若把「可能是 AI」也算進誤判,誤判率仍有 7.7%。
但「完全公平」還是做不到
進步歸進步,2026 年一篇發表於 ACL(計算語言學頂會)的研究潑了盆冷水:它測試了 16 款系統,發現偏誤不只跟「是不是母語」有關,還牽涉到種族等因素——非白人的英語學習者被誤判的比例又更高。而且沒有任何一款偵測器能在所有維度上做到公平。
換句話說,技術在進步,但「用一個分數就判定某人有沒有作弊」這件事,本身就站在很脆弱的地基上。
⚠️ 補充:關於「非白人英語學習者誤判比例更高」,該研究並未公布明確的百分比數字,這裡採用的是「更高、更常被標記」這類定性描述,請勿自行代入具體數值。
常見問題 FAQ
Q1:那如果我認真寫的報告被判成 AI,我該怎麼辦? 先深呼吸,一個偵測分數不等於定罪。它現在的定位越來越像「一個需要人來確認的訊號」,而不是最終判決。你可以保留寫作過程的證據(草稿、修改紀錄、瀏覽器歷史、參考資料筆記),並要求和老師當面對話說明。許多學校的政策也明訂,偵測分數不能是唯一證據。
Q2:偵測器對「中文母語者寫的英文」也會有這個偏誤嗎? 原始研究用的是 TOEFL 托福作文,本來就大量涵蓋以英文為第二語言的考生(包含許多亞洲考生),所以這個偏誤機制對非英語母語的寫作者是廣泛適用的。核心原因是「用字保守、句型規律」的統計特徵,而不是特定某種母語。
Q3:那我把文章改得「詞彙華麗一點」不就好了? 理論上這確實會降低被誤判的機率(研究就是這樣驗證的),但這其實暴露了問題的荒謬:你被迫為了「不像機器人」去刻意改變自己真實的寫作方式。這是把系統的缺陷轉嫁到學生身上,治標不治本。真正該修的是工具與制度,不是你的文筆。
Q4:AI 偵測器不是說有 99% 準確率嗎? 廠商宣稱的準確率,通常是在特定測試條件下得出的。實際使用時,準確率會因文本類型、長度、寫作者背景而大幅下降。更關鍵的是,就算「整體準確率」很高,誤判也可能不平均地集中在特定族群身上——這正是偏誤的定義。
Q5:既然偵測器不可靠,老師要怎麼防止學生用 AI 作弊? 這正是教育界目前的主流方向:與其事後抓,不如從源頭設計。例如採用課堂即席寫作、口頭答辯、要求學生提交寫作過程與草稿、或設計需要個人經驗與反思的題目——這些都比丟給一個黑箱軟體更可靠,也更公平。
結論:工具不是真相
這場 AI 偵測器的信任危機,真正的教訓或許不是「偵測技術很爛」,而是提醒我們一件更根本的事:一個看似客觀的分數,背後可能藏著我們看不見的偏見。
當一個工具會系統性地把「認真學外語的人」誤認成「作弊的機器」,問題就不再只是技術精不精準,而是公不公平。教育界從「用 AI 抓 AI」轉向「重新設計評量方式」,正是意識到:與其把判斷外包給黑箱,不如回到人與人之間的對話與信任。
未來偵測技術當然還會進步,但只要它繼續用「文字有多好猜」當作唯一標準,第二語言學習者被誤傷的風險就不會消失。對正在用非母語努力寫作的你我來說,最實際的一課是:別讓任何一個分數,替你定義你的誠信。
延伸搜尋
- 困惑度 perplexity 語言模型
- AI 偵測器 誤判 非母語
- 演算法偏誤 algorithmic bias
- 學術誠信 AI 政策 大學
- Turnitin AI detection false positive
參考資料來源
- GPT detectors are biased against non-native English writers (arXiv)
- GPT detectors are biased against non-native English writers (Patterns, DOI)
- AI Detectors Don’t Work. Here’s What to Do Instead. (MIT Sloan)
- Identifying Bias in Machine-generated Text Detection (ACL 2026)
- Technical Report on the Pangram AI-Generated Text Classifier (arXiv)
- AI Text Detection Bias: What Our ACL 2026 Study Found (Pindrop)
- Yale, Johns Hopkins, Waterloo Pull Back on AI Detection Tools (AI Weekly)