AI检测器准确吗?研究结论与AI检测分数解读

AI检测器准确吗?简单地说:还不足以证明某人用了AI。如今最好的商业工具能识别出大部分直接从聊天机器人复制粘贴来的文本,也很少把较长的人类写作误判为AI;但较弱的工具会把大量人写的文字标成AI,而经过改写、或刻意模仿某位真实作者风格的AI文本,也能骗过不少工具。任何分数都只能当作提示,告诉你该往哪里看,绝不能单独作为证据。
在近期的独立测试中,最好的工具表现远胜OpenAI自家在2023年推出的检测器(OpenAI当年因准确率低将其下线),但还没有好到能让一个分数成为证据的程度。
AI检测器是怎么判断的
AI检测器判断的是文本本身,而不是文本从哪里来。较简单的工具看的是用词有多可预测、句子看起来有多均匀。商业工具则用大量人类写作和AI写作来训练分类器。无论哪种方式,输出的都是一个估计值,比如“82% AI”。
很多误报正是来自这种“可预测性”。斯坦福大学2023年一项检测器研究的资深作者James Zou表示,这些工具“通常基于一种叫‘困惑度’(perplexity)的指标来打分”,而这个指标与文字的复杂程度相关。平实、严谨的写作在这类指标下可能显得像机器写的,哪怕每个字都出自人手。
研究发现了什么
以下研究于2026年10月核查。前三项来自2023年,后三项测试的是较新的工具和模型。
| 来源 | 测试内容 | 主要发现 |
|---|---|---|
| OpenAI自家的AI分类器(2023) | OpenAI的工具,在一组英文挑战文本上测试 | 它识别出了26%的AI文本,并有9%的情况把人类文本标为AI。OpenAI于2023年7月20日将其下线,理由是“准确率低”。 |
| 斯坦福研究,Liang等(2023) | 7款检测器,测试非英语母语者和英语母语者写的作文 | 平均而言,这些检测器把非母语者写的91篇TOEFL作文中的61%判定为AI生成;91篇中有89篇至少被一款工具标记。美国八年级学生的作文则几乎全部判断正确。 |
| Weber-Wulff等(2023) | 12款公开工具,外加Turnitin和PlagiarismCheck | 这些工具“既不准确也不可靠”,倾向于把文本判为人类所写;一旦AI文本经过伪装(例如改写),表现明显变差。 |
| Erol等(2025) | GPTZero、ZeroGPT和Corrector,测试250篇人类撰写的神经外科论文的摘要和引言,以及750篇由ChatGPT撰写的对应版本 | 总体而言,这些工具区分未经编辑的ChatGPT文本与人类文本的能力在中等到很好之间;但有30%的人类文本在Corrector上的AI得分超过50%,ZeroGPT上为16%。GPTZero没有一篇超过50%。研究没有测试经过编辑的AI文本。 |
| Jabarian与Imas,芝加哥大学(2025) | Pangram、GPTZero、OriginalityAI和一个开源模型,测试6种体裁的1992段人类文本,以及4个模型生成的对应AI文本 | 在中长篇段落上,Pangram的误报和漏报“基本为零”。开源模型把大约30%–78%的人类文本误判为AI。用“人性化改写”工具StealthGPT改写AI文本后,在大多数体裁中GPTZero漏掉了约一半甚至更多,而Pangram仍几乎全部识别了出来。 |
| Epoch AI(2026年7月) | Pangram、GPTZero和Originality.ai,测试495段约500词的人类文本,以及3个当前模型生成的AI文本 | Pangram和GPTZero没有误标任何一段人类文本;Originality.ai误标了3.8%。三者都识别出了几乎所有直接用提示词生成的AI文本,但对模仿真实作者风格的AI文本漏掉了10%–18%,在科学写作中,这类模仿文本漏掉了约四分之一。 |
综合来看,这些研究说明了两点:用哪款工具差别极大;风格模仿是连最好的工具也会失手的地方,而“人性化改写”工具则骗过了其中一些工具。
想了解细节,可以从这些资料读起:OpenAI关于其分类器的说明、斯坦福HAI关于这项偏见研究的报道、芝加哥大学的研究简报和Epoch AI的2026年测试。Weber-Wulff的论文发表在《International Journal for Educational Integrity》上,2025年的神经外科研究则发表在《Acta Neurochirurgica》上。
示例一:同一个诚实的班级,六款不同的工具
假设有1000篇完全由学生自己写、没有用任何AI的作文,套用上文报告的误报率。这只是我们的算术推演,不是新的测试;而且各项研究使用的文本和条件都不同,所以这并不是排名。
| 工具与研究 | 报告的误报率 | 1000篇诚实作文中被误标的数量 |
|---|---|---|
| Pangram或GPTZero,Epoch AI 2026(约500词的段落) | 495段中0段 | 约0篇 |
| Originality.ai,Epoch AI 2026 | 3.8% | 约38篇 |
| OpenAI分类器,2023 | 9% | 约90篇 |
| ZeroGPT,神经外科论文,2025(人类文本AI得分超过50%) | 16% | 约160篇 |
| Corrector,神经外科论文,2025(人类文本AI得分超过50%) | 30% | 约300篇 |
| 开源模型,芝加哥大学,2025 | 约30%–78% | 约300–780篇 |
换一款工具,同一个诚实的班级可能一篇都不会被误标,也可能被误标好几百篇。另外,495次测试零错误,也不能证明在所有类型的写作上都不会出错。
示例二:为什么即使1%的误报率也很重要
范德堡大学(Vanderbilt University)在2023年关闭Turnitin的AI检测功能时,就做过类似的计算:该校2022年提交了约75000篇论文,因此1%的误报率可能意味着约750篇论文被错误标记。
还有第二个效应。对被标记的学生来说,关键不是误报率,而是自己这次被标记出错的概率,而这取决于到底有多少人真的用了AI。这里我们假设一款检测器能识别出90%的AI作文,再改变其他条件。这些数字仅作示意,并非实测。
| 情景(1000篇作文) | 用AI写的作文 | 被标记的AI作文(90%) | 被误标的人类作文 | 标记中出错的比例 |
|---|---|---|---|---|
| A:10%用了AI,误报率1% | 100 | 90 | 9(900篇的1%) | 约9%(99个中有9个) |
| B:10%用了AI,误报率5% | 100 | 90 | 45(900篇的5%) | 约33%(135个中有45个) |
| C:2%用了AI,误报率1% | 20 | 18 | 约10(980篇的1%) | 约35%(28个中有10个) |
情景C揭示了问题所在:同样是“1%”的检测器,当用AI的人很少时,大约每三个标记中就有一个落在诚实的写作者头上。对长文本而言,最好的工具误报率可能接近0%,所以对它们来说这是偏悲观的情形。但对较弱的工具、短文本和正式文体来说,几个百分点甚至更高的误报率是很现实的,第一个示例已经说明了这一点。
如何解读AI检测分数
- 先弄清百分比衡量的是什么。 Turnitin的数字是它判定可能由AI生成的“符合检测条件的文本”所占的比例,而不是对整篇论文的裁决。在根据某个数字采取行动之前,先读一读工具自己的说明。
- 低分最不可靠。 Turnitin自己在1%到19%之间不显示具体数字,只显示一个星号,因为它的测试发现误报在这个区间更常见。
- 不同工具的分数无法相互比较。 在2025年的神经外科研究中,同一批人类撰写的文本在Corrector上平均得到37% AI,在ZeroGPT上是28%,在GPTZero上是6%。
- 长度和语言都有影响。 OpenAI表示,它的分类器在1000个字符以下(也就是一两段短文字)非常不可靠,在英语以外的语言上表现也差得多。
- 一款工具测一次,只是一个数据点。 一款经过充分测试的工具对长文本给出高分,值得仔细看看;一款免费工具对一小段文字给出高分,则几乎不必当回事。
什么时候更容易误报
在以下情况下,被错误标为“AI”的风险会上升:
- 写作者不是英语母语者。2023年斯坦福研究中的七款检测器平均把61%的TOEFL作文标为AI,作者认为这与较简单的用词让文本更可预测有关。较新的工具可能表现更好,但对这类标记仍要格外谨慎。
- 文本较短或不是英文,正如OpenAI对自家工具的警告。
- 人类文本和AI文本混在一起。Turnitin表示,在混合文档中,尤其是人类段落与AI段落交接的地方,句子级别的误报更常见。
- 文风正式、套路化。科学论文遵循严格的写作规范,这也是2025年那项研究中许多人类撰写的神经外科文本在Corrector和ZeroGPT上得分偏高的原因之一。
反过来,错误的“人类”标签,也就是漏报,在AI文本经过改写、经过“人性化改写”工具处理、或模仿真实作者风格写成时更容易出现,Weber-Wulff和Epoch AI的测试都发现了这一点。芝加哥大学的研究发现,GPTZero在面对人性化改写后的文本时也是如此,但Pangram没有这个问题。
如果你的文字被标记为AI,该怎么办
如果老师、编辑或客户说检测器标记了你亲手写的作品:
- 询问细节。 用的是哪款工具?给出了多少分?哪些段落被高亮了?
- 展示你的写作过程。 Google Docs或Microsoft Word里的版本历史、提纲、笔记、早期草稿和你读过的资料,都比任何分数有力得多。
- 主动提出详细说明。 讲清楚你的论点、资料来源和写作上的取舍,对文本的真正作者来说通常并不难。
- 拿出证据。 OpenAI下线了自家的检测器;Turnitin建议用它的分数“来开启一次对话,而不是得出结论”;范德堡大学也关闭了Turnitin的AI检测功能。
- 走正式流程。 阅读学校或单位关于AI使用和诚信的规定,并通过其中的申诉渠道提出申诉。如果事关重大,可以向辅导员、学生会或学校的学生申诉处理委员会求助。
为了避免再次发生,从一开始就保留草稿和版本历史;在用AI做任何事之前(哪怕只是改语法)先确认规则;在被要求说明时如实披露。
老师和编辑应该如何使用检测器
- 用分数开启对话,而不是下结论。 请写作者讲讲这篇文章写的是什么、是怎么写出来的。
- 事先定好清晰的规则。 MIT Sloan的教学技术团队建议制定清晰的AI政策、开放讨论,并请学生说明自己是如何使用AI的,而不是依赖检测。
免费AI检测工具适合用在哪里
检测器最有用的场景,是检查你自己的文字:在提交或发布之前,快速看看草稿读起来是否千篇一律。如果是,就用自己的口吻重写,并加入只有你知道的具体细节。
Clever AI提供一款免费AI检测器,正适合这种用途。粘贴20到4000个字符,无需注册账号,就能得到AI得分、人类得分,以及“可能是AI”“混合”或“可能是人类”的结论。出于上文提到的原因,短段落的结果最不可靠。它是基于语言模型的估计,并不是用Turnitin、GPTZero或其他任何检测器扫描的结果,也不在上述研究测试过的工具之列。正如页面本身所说,用它来决定哪里需要重写,而不要把它当作评判他人作品的证据。
如果你用AI来头脑风暴或起草初稿——无论是在Clever AI Hub还是在其他地方——最稳妥的习惯都是一样的:保留草稿,遵守学校或单位对写作的规定,并在AI帮了忙时如实说明。
结论:AI检测器到底准不准
在最新的测试中,最好的检测器对较长、未经编辑的文本很少出错,但没有一款能就某一篇文字证明任何事:工具之间差别巨大,经过改写或模仿风格的AI文本能骗过其中一些,而当真正使用AI的人很少时,许多标记都是错的。把分数当作仔细查看的理由,然后依据真实的证据——草稿、笔记和一次沟通——做出判断。