Pangram AI检测器:它是什么以及如何工作的
Pangram AI检测器是由Pangram Labs开发的机器学习工具,用于识别学术提交中的AI生成文本,后来在2023年5月被Turnitin收购。在收购之前,Pangram AI检测器以独立网络工具的身份运营,针对教育工作者和学术诚信团队,他们需要一种方法在主要LMS平台原生集成检测之前标记AI生成的写作。它以显示句子级突出显示和整体AI似然分数而闻名,这为评审者提供了比单一百分比更具体的目标。了解该工具测量的内容以及为什么它被吸收到更大的平台中,为任何正在评估当今AI检测器的人提供了有用的背景。
目录
什么是Pangram AI检测器?
Pangram Labs由在机器学习和安全领域具有背景的研究人员创立,该公司在2022年公开推出了Pangram AI检测器,当时大学和讲师正面对ChatGPT和类似工具的突然主流可用性。该产品明确设计考虑了教育工作者——它允许讲师粘贴学生提交的内容,并接收整体AI似然分数以及句子级细分,确定该模型认为最可能是机器生成的段落。在早期阶段,该独立工具可以免费使用,这在高等教育环境中很重要,因为新软件的预算批准可能需要几个月。Pangram将该工具定位为初步审查辅助工具,而不是最终裁定。这种框架——将检测结果视为更仔细查看的原因,而不是最终确定——很恰当,因为当时每个AI检测器都面临准确度限制。2023年5月,Turnitin收购了Pangram Labs,将该公司的检测技术和研究团队纳入Turnitin平台。
Pangram AI检测器如何分析文本?
Pangram AI检测器使用了一个在人类写作和AI生成文本语料库上训练的神经分类器。它依赖的核心方法与大多数AI检测工具共享:分析文本的统计属性,以确定其与大型语言模型输出分布的相似程度。这种方法中最常见的两个信号是困惑度和突发性。困惑度衡量相对于语言模型预期的单词选择的可预测程度——AI生成的文本倾向于使用高概率词序列,因为该模型选择最小化惊喜的标记。突发性衡量句子长度和结构复杂性的变化:人类作者自然地在长的、分层的句子和短的、直接的句子之间转换,而AI输出通常围绕更均匀的节奏聚集。除了这些统计信号,Pangram AI检测器还添加了句子级突出显示,这为用户提供了比单一文档分数更可行的视图。教育工作者可以将他们的注意力指向模型标记的特定段落,而不是对没有关于哪些部分驱动它的背景的整体百分比做出反应。这是对早期检测工具的有意义的可用性改进,这些工具仅返回二进制结果或无区别的置信度分数。
句子级突出显示——显示哪些段落驱动了分数,而不是返回单个数字——是Pangram AI检测器对教育工作者如何使用检测结果最实际的贡献。
Turnitin为什么收购Pangram?
Turnitin在2023年5月对Pangram Labs的收购发生在一个可预见的拐点:ChatGPT已经在六个月前进入主流,大学管理人员要求现有的LMS集成工具检测AI生成的提交和抄袭的提交。Turnitin已经开始开发自己的AI检测功能,该功能在2023年4月推出,但收购Pangram Labs为公司提供了额外的研究能力和一个具有专注经验构建AI检测分类器的团队。战略逻辑很直接。Turnitin已经拥有机制关系、LMS集成以及大规模处理学术提交的基础设施。添加Pangram团队和模型加快了AI检测路线图,而无需Turnitin从头开始构建这些专业知识。对于Pangram,收购意味着访问Turnitin在数千个机构中的分发——但这也意味着独立消费者面向产品的独立Pangram AI检测器的终结。收购关闭后的几个月内,独立的pangram.app工具被下线。
Pangram AI检测器的准确度如何?
Pangram的准确度声明遵循了2022年和2023年初推出的AI检测器的常见模式:该工具使用清晰的AI生成和清晰的人类写作文本在受控基准上报告高性能。在这些条件下,准确度数字可能看起来非常高。真实世界的性能是这些数字变得不那么有用的地方。Pangram AI检测器(像每个当代检测器一样)主要在早期ChatGPT版本的输出上进行了校准,这产生了具有特异性低突发性、低困惑度特征的文本。当用户开始更仔细地编辑AI生成的草稿、通过改写工具运行输出或使用更新的模型时,基准准确度和实际检测率之间的差距扩大了。Pangram AI检测器最重要的准确度问题是误报——将真正的人类写作文本标记为AI生成。非英语使用者的学术写作倾向于正式、正确结构的散文,特别容易受到这种错误的影响。正式学术英语,当在狭窄的范围内一致地写作时,与AI输出共享统计属性:可预测的词汇选择、句子结构变化低以及保守的词汇。这种误报模式并非特定于Pangram;它几乎出现在所有基于相同困惑度和突发性方法构建的AI检测器中。
来自Pangram AI检测器——或任何当代工具的检测分数——应被视为更仔细阅读的原因,而不是提交是AI生成的确认。
你现在还能访问Pangram AI检测吗?
收购关闭后,独立的Pangram AI检测器被下线。依赖它进行免费临时检查的用户——尤其是不订阅Turnitin的机构的教育工作者——发现他们无法访问同一工具。Turnitin的AI检测功能(包含来自Pangram收购的研究)现已嵌入Turnitin平台。它可供订阅Turnitin服务的机构使用,但不作为独立消费者工具提供。这意味着大多数个人用户——在提交前检查自己草稿的学生、验证内容的自由职业者或不使用Turnitin的学校的教师——无法以任何形式访问Pangram的检测技术。Pangram推出时在2022年存在的独立AI检测器市场自收购以来已大幅增长。包括GPTZero、ZeroGPT、Originality.ai、Copyleaks和NotGPT等移动优先选项的工具现在填补了Pangram为需要没有机构软件访问权的检测用户所占据的空间。
既然Pangram是Turnitin的一部分,你现在应该使用什么?
Pangram AI检测器的正确替代品取决于你的背景以及结果将如何使用。机构Turnitin订阅者应该检查他们的机构是否启用了Turnitin的AI检测功能——如果是,这是Pangram提供的内容最直接的延续,具有句子级突出显示和相同的基础研究血统。对于机构访问之外的用户,选项沿着几条线分割。GPTZero是对Pangram为学术写作提供的内容最接近的匹配:免费层、句子级突出显示以及对教育内容格式的校准。ZeroGPT是一个无注册选项,适合想要快速检查而不创建帐户的用户,尽管其在重复运行中的一致性低于具有更结构化开发的工具。对于在发布前需要验证承包商写作材料的内容团队和发布商,Originality.ai和Copyleaks提供了更结构化的工作流程,包括团队帐户、批处理和已发布的准确度基准。对于任何在移动设备上检查内容或在上下文之间快速移动的人,NotGPT提供了实时句子突出显示,无需桌面浏览器。无论你使用哪个工具,产生最防守结果的方法都与Pangram建议的相同:将检测输出视为更深入手动审查的提示,在高风险情况下交叉引用至少两个工具,并在有真实后果的任何决定背后记录推理。
- Turnitin机构订阅者:检查你的机构是否启用了Turnitin的AI写作检测功能
- 学生和学术用户:GPTZero用于针对学术写作格式校准的句子级突出显示
- 没有帐户的用户:ZeroGPT用于无注册的单个段落快速检查
- 内容和出版团队:Originality.ai或Copyleaks用于批处理工作流程和已发布的基准
- 移动用户:NotGPT用于从任何设备的实时检测和句子突出显示
- 任何重大决定:交叉引用两个工具并在采取行动前记录你的审查过程
使用NotGPT检测AI内容
AI Detected
“The implementation of artificial intelligence in modern educational environments presents numerous compelling advantages that merit careful consideration…”
Looks Human
“AI in schools has real upsides worth thinking about — but the trade-offs are just as real and shouldn't be glossed over…”
即时检测AI生成的文本和图像。一键将内容人性化。
相关文章
检测功能
AI文本检测
粘贴任何文本并获得带有突出显示部分的AI相似度概率分数。
AI图像检测
上传图像以检测它是否由DALL-E或Midjourney等AI工具生成。
人性化
重写AI生成的文本使其听起来自然。选择轻、中或强强度。