AI 检测工具对比

Turnitin 与其他 AI 检测工具对比:它们有何不同,真正重要的是什么

Turnitin、GPTZero 和 Originality.ai 都在用不同的方法回答同一个问题——而且它们彼此的判断经常不一致。这里说明每个工具究竟在测量什么、各自的弱点在哪里,以及为什么 DraftProof 不是表格里又一个竞争分数。

适合用于了解整体格局在任何单一分数改变你的计划之前

不同的工具,不同的方法

Turnitin、GPTZero 和 Originality.ai 各自使用不同的模型和训练数据。同一份文档在三者中的得分可能差异很大——这是已被记录、可预期的现象,不是某一家的缺陷。

DraftProof 不是第四个竞争分数

DraftProof 不会取代或试图超越这些工具的分数。它是提交前的一步——在任何机构的检测器看到你的草稿之前,先告诉你哪些段落的依据薄弱。

并排对比

三个检测工具的对比。

TurnitinGPTZeroOriginality.aiDraftProof
设计用途机构端的原创性 + AI 写作报告独立的 AI 文本检测,面向教育与出版独立的 AI 文本 + 抄袭检测,面向出版/SEO提交前准备——在提交前发现薄弱之处
计分方式基于 BERT 的分类器;符合条件文本的 0–100%源自困惑度/突发性,现为 7 组件专有模型0–100% 句子级评分,跨 4 个检测模型段落级风险 + 依据/引用缺口,而非单一百分比
官方公布的准确率约 98% 准确率,20% 以上误报率 < 1%(官方声明)约 99% 准确率(官方声明)约 83.4% 检测率,约 5% 误报率(官方声明)不是及格/不及格的分数——展示可供你自行核实的发现
已知弱点20% 以下的分数官方明确标注为低置信度(自带星号)独立测试发现非母语英文写作的误报率明显更高对经过改写/“人性化”处理的 AI 文本,漏报率明显上升不会给出机构级定论——仍需你自己审阅结果
结果谁能看到你所在机构,通过其 Turnitin 账号运行检测的人——教师或学生工具运行检测的人——通常是出版方/代理机构只有你自己,在提交给任何人之前

工作原理

每个检测工具究竟在测量什么。

Turnitin

使用基于 BERT 的模型,训练数据来自多年的学生提交内容,以及从 GPT-3 到 GPT-4 级别模型生成的 AI 文本。根据 Turnitin 自己的说明,该百分比是对符合条件文本中与 AI 写作模式相似部分的估计——不是相似度或抄袭分数,单凭它本身也不构成学术不端的证据。

GPTZero

最初基于困惑度(用词的可预测程度)和突发性(句子节奏的变化程度),如今已融合进一个更大的专有模型。独立报道和学术测试都曾指出误报问题,尤其是在非母语英文写作上——GPTZero 此后针对 ESL 群体做了去偏差的工作。

Originality.ai

基于大规模标注数据训练的四个检测模型,对文本逐句评分,并在同一次扫描中整合抄袭检测、可读性和事实核查。其自身公布的数据显示,对先经过改写或“人性化”工具处理的 AI 文本,准确率下降最为明显。

为什么会这样

为什么检测工具的判断会互相矛盾。

01

训练数据不同,盲区也不同

每个检测工具学习的人类与 AI 文本组合都不一样。某个模型从未见过的风格,在它这里的得分会和在训练充分的模型里完全不同。

02

没有共享、经过审计的“标准答案”

并不存在一套所有检测工具都公开对照评测的通用基准——每家厂商公布的准确率,都来自自己的测试集。

03

这正是为什么不该由一个数字来下定论

如果三个资金雄厚的工具都能对同一段落判断不一,任何单一分数都该是提示你再看一眼——而不是 Turnitin 或任何人给出的定论。

在提交之前,先看看检测器会标记什么。

DraftProof 会逐段检查你的草稿中,检测器真正会反应的薄弱依据和笼统措辞,让你在这些工具看到之前先修正它。

检查你自己的写作

最后审阅