论文AI检测准确率怎么看?以RAID学术摘要榜单为例

一、先分清三种常被叫作准确率的数字#

要判断一款论文AI检测工具表现如何,先问数字是在多少份有标签的文本上计算的、用的是什么指标。看自己的全文报告时,再看这一份文件用什么规则统计标注内容。 RAID 评测原论文 · ROC 分析

指标怎样得到回答的问题
固定阈值准确率设定判定阈值,将正确分类的样本数除以样本总数在这个阈值下,有多少份样本判对?
AUROC在不同阈值下计算真正率和假正率,再取 ROC 曲线下的面积检测分数能否把 AI 样本排在人工样本前面?
单篇 AI 特征值按具体报告的统计规则计算这份稿件的 AI 特征比例当前送检稿件的检测结果是什么?

阅读产品或论文中的准确率,还可以同时看测试语种、文体和 AI 与人工样本的构成。若只关心误报,在同一假正率下比较真正率会更贴近这个问题。

二、RAID 榜单上的 1.000 和 0.999 怎么读?#

XYZ SCIENCE 官网留存的 2026 年 10 月 31 日榜单截图,领域选的是 Abstracts,指标选 AUROC,解码方式、重复设置和攻击设置均选 All。该截图中,XYZ SCIENCE 显示 1.000,列第 2,腾讯朱雀显示 0.999,列第 10。两行显示到小数点后三位。 RAID 榜单留存截图

比较两行时,引用日期、设置、指标和显示值即可。如果要判断很小的分差在其他样本上能否重现,需要查看更高精度的分数或重抽样结果。阅读其他榜单或其他文体时,先确认筛选条件是否相同。

三、用四份样本看懂 AUROC 和准确率#

假设检测器对两份已知 AI 摘要给出 0.90、0.70,对两份已知人工摘要给出 0.60、0.20。四种 AI 与人工的两两配对中,AI 的分数都更高。这组自拟样本的 AUROC 为 1。 ROC 分析

判定规则正确分类情况这组样本的准确率
分数达到 0.80 判为 AI一份 AI 和两份人工判对3 ÷ 4 = 75%
分数达到 0.65 判为 AI两份 AI 和两份人工均判对4 ÷ 4 = 100%

四份样本的分数与排序保持一致,改变的是分类阈值。因此两种阈值可以给出不同准确率,同一批分数计算出的 AUROC 保持一致。

四、选论文AI检测工具时,怎样看更贴近用途的评测?#

优先选文体和语种接近的结果。看英文摘要,可以先核对摘要专项评测。看整篇论文,继续核对 Word 入口、全文统计范围和报告中能否找到原段落。需要了解工具在较低误报率下能识别多少 AI 样本时,查看评测是否公布固定误报率下的识别率。 RAID 评测原论文 · 英文论文检测的文体对照

五、回到自己的 Word,先看这份报告对应哪版论文#

使用 XYZ SCIENCE 时,可先提交中英文段落,再上传最终版 Word,完成后在检测记录下载 PDF。公开报告示例中,AI 特征字符数为 1,651、总字符数为 8,312,按该报告口径得出约 19.9%。这是对应送检文件的结果,可以继续通过章节标题和标注定位正文。 XYZ SCIENCE 全文报告示例

XYZ SCIENCE AIGC 检测登录后完全免费、不限次数。复测时保留同一检测入口、对应的 Word 版本和 PDF,比较各版的同名指标。 免费查论文AI率

常见问题

论文AI检测准确率怎么看?

先核对指标、测试文本和判定阈值。准确率是在指定阈值下正确判定的样本比例,AUROC 衡量跨阈值的区分能力。两种数字分别回答不同的评测问题。

RAID 学术摘要榜单的 1.000 和 0.999 是什么?

在 XYZ SCIENCE 官网留存的 2026 年 10 月 31 日截图中,英文学术摘要榜单按 AUROC 展示,XYZ SCIENCE 为 1.000、列第 2,腾讯朱雀为 0.999、列第 10。这些是截图所列设置下的显示值。

怎样比较两个AI检测工具在相同误报条件下的表现?

选同一个可接受的误报率,看两款工具在该条件下识别了多少 AI 样本。然后结合摘要或正文等文本范围,检查测试材料是否与自己的论文用途相符。

全文报告里的AI特征值和AUROC有什么区别?

AUROC 衡量检测器对一批有标签样本的区分能力。XYZ SCIENCE 公开报告中的 AI 特征值,按这份稿件计入的 AI 特征字符与总字符计算。

参考资料

  1. XYZ SCIENCE 留存的 RAID 学术摘要榜单 · 2026 年 10 月 31 日榜单截图及配置说明
  2. RAID 评测原论文 · 机器生成文本检测评测的数据领域、模型与设置
  3. Tom Fawcett:ROC 分析 · ROC 曲线、阈值与 AUROC 的统计解释
  4. XYZ SCIENCE 全文检测示例 · 报告首页及 AI 特征字符比例的统计口径