Feb, 2024

Checkfor.ai AI - 生成文本分类器技术报告

PDF
TL;DR通过使用基于转换器的神经网络的 Checkfor.ai 文本分类器，我们能够识别大型语言模型写的文本和人类写的文本。Checkfor.ai 在十个文本领域（学生写作、创意写作、科学写作、书籍、百科全书、新闻、电子邮件、科学论文、问答简述）和 8 个开源和闭源大型语言模型的综合基准测试中，相较于 DetectGPT 和其他商业 AI 检测工具，错误率降低了九倍以上。我们提出了一种训练算法，即使用合成镜像进行负样本训练，使我们的分类器在高数据领域（例如评论）能够实现数量级更低的误报率。最后，我们证明 Checkfor.ai 不对非英语母语人士存在偏见，并且在训练期间未见过的领域和模型中具有普适性。
发现论文，激发创造
  • AI 生成文本检测工具的实证研究

    本研究旨在创建一个多领域数据集，以测试用于检测高校和其他研究机构使用的人工生成信息的最先进 API 和工具。六种不同的人工智能文本识别系统，包括 “GPTkit”，“GPTZero”，“Originality”，“Sapling”，“Writer” 和 “Zylalab”，准确率介于 55.29% 至 97.0% 之间。尽管所有工具在评估中表现良好，但原创性在各方面表现尤为出色。

    Sep, 2023

  • 人工和人类生成文本的分类：对 ChatGPT 的特征研究

    我们的研究旨在探索传统和新的特征，以便 (1) 检测 AI 生成的文本和 (2) 由 AI 改写的文本。结果显示，新特征显著提高了许多分类器的性能。我们最好的基本文本改写检测系统在 F1 分数上超过了 GPTZero 的 183.8%。

    Aug, 2023

  • AI 生成文本检测工具测试

    本研究针对学术环境中使用人工智能生成文本的潜在风险进行研究，发现现有的人工智能生成文本检测工具准确性和可靠性都有问题，并且在检测时存在偏向于将 AI 生成文本归类为人类写作。同时，内容混淆技术也会显著降低检测工具的性能。

    Jun, 2023

  • 大型语言模型生成科学内容的深度学习检测方法

    聊天 GPT 生成科技文本检测方法 AI-Catcher 融合 MLP 和 CNN 模型，通过对语言和统计特征进行特性学习以及从文本内容中提取顺序模式的高级表示，能更准确地区分人类撰写和 GPT 生成的科技文本，平均提高 37.4% 的准确性。

    Feb, 2024

  • 基于自然语言处理和机器学习方法的检测人工智能生成的文本

    自然语言处理、人工智能、AI 检测模型、BERT 架构和 AI 生成文本识别是该研究的五个关键词。

    Apr, 2024

  • Ghostbuster: 检测由大型语言模型写就的文字鬼影

    Ghostbuster 是一种用于检测人工智能生成文本的最先进系统，它不需要访问目标模型中的令牌概率，可以用于检测黑盒模型或未知模型版本的文本。与我们的模型结合使用，我们发布了三个新的以人类和 AI 生成的文本作为检测基准的数据集，Ghostbuster 在全三个数据集上的文件级别检测平均达到了 99.1 F1，跑赢了 GPTZero 和 DetectGPT 等先前的方法。

    May, 2023

  • 基于 Transformer 的大型语言模型的 AI 内容自检测

    本文介绍了直接来源检测的概念，并评估了生成型 AI 系统是否能够识别其输出并将其与人工编写的文本加以区分。结果表明，Google 的 Bard 模型表现出最大的自检测能力，准确率达到 94％，其次是 OpenAI 的 ChatGPT，准确率为 83％。而 Anthropic 的 Claude 模型似乎无法自检测。

    Dec, 2023

  • DUPE: 通过 Prompt Engineering 检测 Deepfake 文本的方法

    评估了三种不同的 AI 文本检测器，发现水印技术存在较高的误报率，ZeroGPT 技术误报和漏报率都较高，并通过使用 ChatGPT 3.5 来将原始的 AI 生成文本改写，有效地绕过了这些检测器的误报率和漏报率。

    Apr, 2024

  • 谁撰写评论，人类还是人工智能？

    本研究提出了一种方法来准确区分 AI 生成和人工撰写的书评，通过使用迁移学习，该方法能够在不同主题上识别生成的文本，并提高对写作风格和词汇变化的检测能力。实验结果表明，能够检测文本的原始来源，达到了 96.86% 的准确率。为了确保人工生成内容的完整性和真实性，扩大对大型语言模型在文本识别方面的能力和限制的理解对于有效地应用类似的模型以及确保内容的整体和真实性将是有价值的。

    May, 2024

  • 英法德西语人工智能与人类生成文本分类

    本文分析了用于英语、法语、德语和西班牙语识别人工智能生成文本和人类生成文本的特征，并对不同语言进行了比较。研究了两种情况：(1) 检测由人工智能生成的原创文本，和 (2) 检测由人工智能重新表述的文本。通过建立包含每种语言 10 个主题的新文本语料库来训练和测试这个多语言环境中的分类器。特征的组合在检测人工智能生成的文本时表现最好，说明这些特征可以应用于其他相关语言：西班牙语的 F1 得分接近 99%，英语为 98%，德语为 97%，法语为 95%。在检测人工智能重新表述的文本时，大多数情况下使用所有特征的系统效果最好，但对于德语（72%）和西班牙语（86%），仅使用文档特征最好，而对英语则仅使用文本向量特征可获得最佳结果（78%）。

    Dec, 2023