Oct, 2023

基于 Transformer 与卷积神经网络结合的集成方法用于检测人工生成文本

PDF
TL;DR我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。
large language modelsnatural language generationcontent detectionensemble architecturesclassification models
发现论文，激发创造
  • 一个简单而高效的集成方法用于 AI 生成文本检测

    近期大型语言模型（LLMs）在各种风格和体裁的文本生成方面展示了惊人的能力。然而，这种能力容易被滥用，如虚假新闻生成、垃圾电子邮件创建以及在学术作业中的误用。因此，建立能够区分人工生成文本和人类作者文本的自动化方法至关重要。本文提出了一种简单而高效的解决方案，通过集成多个组成 LLM 的预测来解决这个问题。相较于以往基于困惑度或使用众多 LLM 的集成方法，我们的简化集成方法仅使用两个组成 LLM 即可达到可比较的性能。在四个生成文本分类基准数据集上进行的实验证明，与以往的最先进方法相比，性能提升范围在 0.5％到 100％之间。我们还研究了来自各个 LLM 的训练数据对模型性能的影响。结果表明，将商业限制的生成预训练变压器（GPT）数据替换为其他开放语言模型生成的数据，如 Falcon、Large Language Model Meta AI（LLaMA2）和 Mosaic Pretrained Transformers（MPT），是开发生成文本检测器的可行替代方法。此外，为了展示零 - shot 推广能力，我们在一个英语散文数据集上进行了实验，结果表明我们的集成方法可以有效处理新数据。

    Nov, 2023

  • 自适应精调 Transformer 集成模型用于 LLM 生成文本检测

    大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

    Mar, 2024

  • 基于集成 LLM 方法的生成式人工智能文本分类

    本文提出了一种集成神经模型以检测大型语言模型生成的语言，并对模型进行归因的方法。

    Sep, 2023

  • 基于 Transformer 的集成模型对 AI 生成的文本进行检测

    本论文介绍了我们团队 “SynthDetectives” 在 ALTA 2023 共享任务中的提交情况。我们采用了一种堆叠 Transformer 模型的方法来实现 AI 生成文本的检测任务。我们的方法在模型选择上是新颖的，因为我们使用了易于访问和轻量级的模型进行集成。我们展示了模型集成相比单独使用模型能够提高准确性的结果。在共享任务组织者提供的官方测试数据上，我们的方法达到了 0.9555 的准确得分。

    Oct, 2023

  • 应用集成方法进行模型无关的机器生成文本检测

    通过应用集成方法来检测大语言模型（LLM）产生的机器生成文本的问题，并找到简单的 DetectGPT 子模型输出的摘要统计数据在保持其零 - shot 性的同时获得 0.73 的 AUROC（相对于 0.61），受监督学习方法可以将准确性提升到 0.94 的 AUROC，但需要一个训练数据集，这表明进一步推广的可能性以创建高准确度、不依赖模型的机器生成文本检测器。

    Jun, 2024

  • 增强文本真实性：一种新颖的混合方法用于 AI 生成文本检测

    本文提出了一种新颖的混合方法，将传统的 TF-IDF 技术与先进的机器学习模型相结合，包括贝叶斯分类器、随机梯度下降（SGD）、分类梯度提升（CatBoost）和 12 个 Deberta-v3-large 模型的实例。通过在全面的数据集上进行广泛的实验，我们证明了我们提出的方法在准确区分人工生成和 AI 生成文本方面的有效性。与现有方法相比，我们的方法取得了更好的性能。这项研究为 AI 生成文本检测技术的进展做出了贡献，并为应对 AI 生成内容带来的挑战开发出稳健的解决方案奠定了基础。

    Jun, 2024

  • 基于 Transformer 深度学习算法的大型语言模型（LLM）AI 文本生成检测

    通过基于 Transformer 模型的 LLM AI 文本生成检测工具，提高 AI 文本生成检测的准确性并为后续研究提供参考；通过深度学习模型的训练和验证，表明该模型对 AI 生成文本具有良好的检测和分类能力，并具有广泛应用前景。

    Apr, 2024

  • 利用 Transformer 模型集合检测生成的科学论文

    该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。

    Sep, 2022

  • 基于令牌集成的文本生成：对自动 AI 生成文本检测的攻击

    本文提出了一种新的令牌集合生成策略，用于挑战当前 AI 内容检测方法的鲁棒性。通过利用来自随机候选 LLMs 生成的下一个令牌完成提示，我们探索了集合攻击策略。我们发现令牌集合方法显著降低了 AI 内容检测模型的性能，揭示了令牌集合生成对当前检测模型构成重要挑战，并强调了推进检测技术以对抗复杂的敌对策略的需求。

    Feb, 2024

  • 大型语言模型生成科学内容的深度学习检测方法

    聊天 GPT 生成科技文本检测方法 AI-Catcher 融合 MLP 和 CNN 模型，通过对语言和统计特征进行特性学习以及从文本内容中提取顺序模式的高级表示，能更准确地区分人类撰写和 GPT 生成的科技文本，平均提高 37.4% 的准确性。

    Feb, 2024