Skip to main content
ai-detectionturnitinacademic-integritystudents

Turnitin使用AI来检测AI吗?检测器本身是如何工作的

· 7 min read· NotGPT Team

Turnitin使用AI来检测AI吗?是的——AI写作指示器本身是一个机器学习模型,经过训练用于分类文本而不是生成文本,这是一种与它所寻找工具不同的AI。这种区别比听起来更重要,因为分类器做出的概率判断与谎言检测器得出的事实不同。本文探讨了Turnitin分数底层实际运行的是什么样的模型、它衡量什么,以及为什么来自检查AI的AI系统的百分比永远不应被视为最终判决。

Turnitin使用AI来检测AI吗?

是的——"Turnitin是否使用AI来检测AI"这个问题听起来循环式的这个事实,正是为什么它会让人困惑。Turnitin的AI写作指示器不是查找表、抄袭式数据库匹配或检查禁用短语的规则引擎。它是一个经过训练的机器学习分类器——一个在开发过程中接受了大量人类编写和AI生成文本展示的模型,学会根据统计模式区分两者,这与垃圾邮件过滤器或欺诈检测系统使用的方法相同。从字面上讲,一个AI系统被用来判断其他AI系统的输出。这在机器学习中并不罕见;为捕捉合成内容而构建的分类器在整个行业中很常见。对学生和教师来说重要的是理解"AI检查AI"意味着来自模式匹配模型的概率估计,而不是具有可验证正确答案的明确测试,就像指纹匹配或抄袭来源匹配那样。

Turnitin的AI写作指示器是一个在文本示例上训练的分类器——它做出统计判断,而不是事实判断。

底层实际运行的是什么样的AI?

将在日常对话中被混为一谈的两类AI区分开来会有帮助。生成式AI——ChatGPT、Claude或Gemini背后的那种——从提示生成新的文本、图像或音频内容。判别式AI做的是相反的工作:它获取现有内容并将其分类。垃圾邮件过滤器是判别式AI。信用卡欺诈模型是判别式AI。Turnitin的AI写作指示器是判别式AI,特别针对两类问题训练:人类编写的学术文本与AI生成的学术文本。这就是为什么称其为"一个捕捉AI的AI"是准确的但可能会误导——该模型不是推理论文、形成观点或按照生成式模型在被要求总结相同文本时的方式阅读理解。它通过统计分类器运行文档,并根据文本最紧密接近的学习模式输出一个数字。

  1. 生成式AI从提示生成新内容——这是Turnitin试图检测的类别,而不是它运行的类别。
  2. 判别式AI将现有内容分类——这是Turnitin自己的检测器所属的类别。
  3. Turnitin的模型通过人类和AI学术写作的标记示例进行训练,以统计方式学习差异。
  4. 该模型不按意思阅读或推理论文——它评分统计模式并输出概率。
那么Turnitin是否使用AI来检测AI?是的——但它是一个判别式分类器,将文本分类,而不是一个推理您论文的生成式模型。

该模型实际上查看哪些信号?

Turnitin将其检测器描述为在句子级别分析困惑度和突发性——两个从计算语言学而不是学术写作特定内容中借用的测量。困惑度捕捉给定周围单词时每个单词选择的可预测性;生成的文本比人类写者更一致地选择统计可能的下一个单词。突发性捕捉句子长度和节奏在整个文档中的变化程度;人类写作自然地在短句和长句之间摇摆,而生成的文本倾向于落入更统一的节奏。该模型将这些信号结合在提交文本中的每个句子中,对每个句子进行分类,然后将句子级别的分类聚合为报告中显示的总体百分比。这一切都不涉及将您的提交与已知AI输出的数据库进行比较或将其匹配到特定工具——没有正在检查的指纹,只是对句子行为方式的统计解读。

  1. 困惑度:给定周围句子,每个单词选择的可预测性。
  2. 突发性:整个文档中句子长度和结构的变化程度。
  3. 每个句子在结果聚合为一个百分比前获得自己的分类。
  4. 没有与之前看到的AI文本数据库进行比较——分析仅基于统计模式。

为什么AI判决不能作为证明?

训练来发现统计模式的分类器只能报告文档与它所学模式的相似程度——它没有独立方法来确认文本编写时实际发生了什么。这是在将分数视为确定事实时容易忽略的核心局限性。该模型从未见过您的写作过程、草稿或研究笔记;它只看到最终文本并衡量它的流畅度或可预测性。这意味着在真正AI生成的文本中出现的相同统计签名也可能出现在大量编辑的人类写作、正式学术散文、非英语母语写作或短技术部分中,其中流派本身限制了文体变化。这些都不是AI生成的,但所有这些都可以产生分类器被训练标记的模式。为很好地捕捉一件事而构建的模型仍然可能在恰好与它被训练来捕捉的内容共享表面统计数据的文本上出现误差——这是任何分类器的已知权衡,不是Turnitin独有的缺陷。

分类器报告模式相似性,而不是关于文档如何编写的已确认事实——该间隙是假阳性存在的地方。

置信度得分实际代表什么?

Turnitin AI报告中的百分比是标记句子的比例,而不是应用于整个文档的置信度。35%的分数大约意味着三分之一的句子与模型关联AI文本的统计模式相匹配——这并不意味着该模型有35%的把握该论文整体是AI编写的,也不意味着其他65%的句子保证干净。将其作为单个置信度拨盘读取是学生和教师之间最常见的误解,这很容易犯,因为人们遇到的大多数其他百分比——成绩、匹配率、电池电量——的确表现得像描述一件事的单个数字。Turnitin自身的指导正是因为这个原因将低于20%的分数视为不确定:在低比例时,分类器中的句子级噪声使聚合数字作为任何一种方式的信号不可靠。

  1. 百分比反映被标记句子的份额,而不是对整个文档的确定性。
  2. 低的总体分数不会清除每个单独句子——这是一个聚合,不是按句子保证。
  3. 大约20%以下的分数被视为不确定,而不是任何一种方向的证据。
  4. 该数字描述跨句子的模式相似性,这是与作者身份确定性不同的东西。
35%的分数意味着三分之一的句子与一个模式相匹配——而不是该模型对论文有35%把握。

学生和教师实际上应该怎样处理这个问题?

一旦您接受了Turnitin是否使用AI来检测AI的答案——是的,一个概率分类器,而不是预言家——它改变了分数在对话两边应该如何处理。对于教师来说,这意味着将百分比视为关于过程(草稿、笔记、修订历史)对话的起点,而不是作为结束讨论的独立发现。对于学生来说,这意味着被标记的分数值得调查而不是惊慌,特别是如果写作涉及大量编辑、正式语气或非英语母语措辞,所有这些都是与任何AI使用无关的已记录假阳性来源。在提交前通过第二个独立检测器运行草稿可以查看哪些具体句子读起来统计上足够光滑以吸引注意,使您可以具体修改或解释,而不是在事实之后提供单个无法解释的数字。NotGPT的AI文本检测以这种方式工作,在总体分数旁边返回句子级别的细分,其Humanize工具可以帮助重新引入自然变化到因与实际编写方式无关的原因持续标记的句子。

  1. 将任何AI百分比——来自Turnitin或其他地方——视为讨论的起点,而不是最终判决。
  2. 检查您自己写作中已知的假阳性模式:大量编辑、正式语气或非英语母语措辞。
  3. 在提交前通过独立检测器运行草稿,查看哪些句子读起来统计上足够光滑。
  4. 保留草稿和修订历史作为分类器分数单独无法提供的证据。
  5. 如果句子因与AI使用无关的原因持续标记,请在提交前修改以获得自然变化或使用人性化工具。

使用NotGPT检测AI内容

87%

AI Detected

“The implementation of artificial intelligence in modern educational environments presents numerous compelling advantages that merit careful consideration…”

Humanize
12%

Looks Human

“AI in schools has real upsides worth thinking about — but the trade-offs are just as real and shouldn't be glossed over…”

即时检测AI生成的文本和图像。一键将内容人性化。