论文AI检测准确率怎么看?以RAID学术摘要榜单为例
一、先分清三种常被叫作准确率的数字#
要判断一款论文AI检测工具表现如何,先问数字是在多少份有标签的文本上计算的、用的是什么指标。看自己的全文报告时,再看这一份文件用什么规则统计标注内容。 RAID 评测原论文 · ROC 分析
| 指标 | 怎样得到 | 回答的问题 |
|---|---|---|
| 固定阈值准确率 | 设定判定阈值,将正确分类的样本数除以样本总数 | 在这个阈值下,有多少份样本判对? |
| AUROC | 在不同阈值下计算真正率和假正率,再取 ROC 曲线下的面积 | 检测分数能否把 AI 样本排在人工样本前面? |
| 单篇 AI 特征值 | 按具体报告的统计规则计算这份稿件的 AI 特征比例 | 当前送检稿件的检测结果是什么? |
阅读产品或论文中的准确率,还可以同时看测试语种、文体和 AI 与人工样本的构成。若只关心误报,在同一假正率下比较真正率会更贴近这个问题。
二、RAID 榜单上的 1.000 和 0.999 怎么读?#
XYZ SCIENCE 官网留存的 2026 年 10 月 31 日榜单截图,领域选的是 Abstracts,指标选 AUROC,解码方式、重复设置和攻击设置均选 All。该截图中,XYZ SCIENCE 显示 1.000,列第 2,腾讯朱雀显示 0.999,列第 10。两行显示到小数点后三位。 RAID 榜单留存截图
比较两行时,引用日期、设置、指标和显示值即可。如果要判断很小的分差在其他样本上能否重现,需要查看更高精度的分数或重抽样结果。阅读其他榜单或其他文体时,先确认筛选条件是否相同。
三、用四份样本看懂 AUROC 和准确率#
假设检测器对两份已知 AI 摘要给出 0.90、0.70,对两份已知人工摘要给出 0.60、0.20。四种 AI 与人工的两两配对中,AI 的分数都更高。这组自拟样本的 AUROC 为 1。 ROC 分析
| 判定规则 | 正确分类情况 | 这组样本的准确率 |
|---|---|---|
| 分数达到 0.80 判为 AI | 一份 AI 和两份人工判对 | 3 ÷ 4 = 75% |
| 分数达到 0.65 判为 AI | 两份 AI 和两份人工均判对 | 4 ÷ 4 = 100% |
四份样本的分数与排序保持一致,改变的是分类阈值。因此两种阈值可以给出不同准确率,同一批分数计算出的 AUROC 保持一致。
四、选论文AI检测工具时,怎样看更贴近用途的评测?#
优先选文体和语种接近的结果。看英文摘要,可以先核对摘要专项评测。看整篇论文,继续核对 Word 入口、全文统计范围和报告中能否找到原段落。需要了解工具在较低误报率下能识别多少 AI 样本时,查看评测是否公布固定误报率下的识别率。 RAID 评测原论文 · 英文论文检测的文体对照
五、回到自己的 Word,先看这份报告对应哪版论文#
使用 XYZ SCIENCE 时,可先提交中英文段落,再上传最终版 Word,完成后在检测记录下载 PDF。公开报告示例中,AI 特征字符数为 1,651、总字符数为 8,312,按该报告口径得出约 19.9%。这是对应送检文件的结果,可以继续通过章节标题和标注定位正文。 XYZ SCIENCE 全文报告示例
XYZ SCIENCE AIGC 检测登录后完全免费、不限次数。复测时保留同一检测入口、对应的 Word 版本和 PDF,比较各版的同名指标。 免费查论文AI率
常见问题
论文AI检测准确率怎么看?
先核对指标、测试文本和判定阈值。准确率是在指定阈值下正确判定的样本比例,AUROC 衡量跨阈值的区分能力。两种数字分别回答不同的评测问题。
RAID 学术摘要榜单的 1.000 和 0.999 是什么?
在 XYZ SCIENCE 官网留存的 2026 年 10 月 31 日截图中,英文学术摘要榜单按 AUROC 展示,XYZ SCIENCE 为 1.000、列第 2,腾讯朱雀为 0.999、列第 10。这些是截图所列设置下的显示值。
怎样比较两个AI检测工具在相同误报条件下的表现?
选同一个可接受的误报率,看两款工具在该条件下识别了多少 AI 样本。然后结合摘要或正文等文本范围,检查测试材料是否与自己的论文用途相符。
全文报告里的AI特征值和AUROC有什么区别?
AUROC 衡量检测器对一批有标签样本的区分能力。XYZ SCIENCE 公开报告中的 AI 特征值,按这份稿件计入的 AI 特征字符与总字符计算。
参考资料
- XYZ SCIENCE 留存的 RAID 学术摘要榜单 · 2026 年 10 月 31 日榜单截图及配置说明
- RAID 评测原论文 · 机器生成文本检测评测的数据领域、模型与设置
- Tom Fawcett:ROC 分析 · ROC 曲线、阈值与 AUROC 的统计解释
- XYZ SCIENCE 全文检测示例 · 报告首页及 AI 特征字符比例的统计口径